Не доверяйте AI-агентам писать документацию
Ситуация: провёл ряд экспериментов, написали с агентами рабочий код, попросил задокументировать что работает, что нет, чтобы можно было воспроизводить эти результаты в будущем системно. Открыл эти документы почитать, а там куча фактических ошибок и галлюцинаций
Циклы «аудит→фикс→аудит→фикс» силами агентов не помогли. С этого момента стал все документы проверять вручную и обсуждать с агентом любой непонятный момент. А потом еще прогонять тесты: запускаю агентов, которых прошу воспроизвести решение по документам, а затем отдельный агент сверяет результат с исходником, который документировали. Это занимает время, но по такой документации потом можно нормально воспроизвести результат
Предполагаю, что огромный объём галлюцинаций в таких задачах связан с тем, что в обучающих данных модели таких текстов не было и быть не могло, поэтому при формировании каждого нового слова в документе элемент рандома выше обычного
Ситуация: провёл ряд экспериментов, написали с агентами рабочий код, попросил задокументировать что работает, что нет, чтобы можно было воспроизводить эти результаты в будущем системно. Открыл эти документы почитать, а там куча фактических ошибок и галлюцинаций
Циклы «аудит→фикс→аудит→фикс» силами агентов не помогли. С этого момента стал все документы проверять вручную и обсуждать с агентом любой непонятный момент. А потом еще прогонять тесты: запускаю агентов, которых прошу воспроизвести решение по документам, а затем отдельный агент сверяет результат с исходником, который документировали. Это занимает время, но по такой документации потом можно нормально воспроизвести результат
Предполагаю, что огромный объём галлюцинаций в таких задачах связан с тем, что в обучающих данных модели таких текстов не было и быть не могло, поэтому при формировании каждого нового слова в документе элемент рандома выше обычного
🤔4👍3🌚1
Столкнулся в разработке с забавным термином, названным в честь птички канарейки — canary test/canary deployment. В двух словах, это первичные тесты малой кровью, чтобы заранее отловить и исправить все ошибки
Стало интересно причем тут канарейки, оказалось вот что:
На рубеже 19-20 веков ученый Джон Скотт Холдейн доказал, что угарный газ основная причина гибели шахтёров. И предложил брать в шахты для раннего обнаружения выбросов мелких животных
Остановились на канарейках: у них быстрый метаболизм + воздух дважды проходит через лёгкие, поэтому они задыхаются быстрее, чем человек. Да еще и сигнал хороший: птичка петь перестала — пора сваливать. С 1911 по 1986 год в Англии этот метод раннего улавливания опасных газов в шахтах был закреплен законодательно
Урок истории окончен, идите работать🌸
Стало интересно причем тут канарейки, оказалось вот что:
На рубеже 19-20 веков ученый Джон Скотт Холдейн доказал, что угарный газ основная причина гибели шахтёров. И предложил брать в шахты для раннего обнаружения выбросов мелких животных
Остановились на канарейках: у них быстрый метаболизм + воздух дважды проходит через лёгкие, поэтому они задыхаются быстрее, чем человек. Да еще и сигнал хороший: птичка петь перестала — пора сваливать. С 1911 по 1986 год в Англии этот метод раннего улавливания опасных газов в шахтах был закреплен законодательно
Урок истории окончен, идите работать
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9😢5❤2👀1🗿1
Что под капотом в моём маленьком стартапчике
Прям дофига всего. На скриншоте собрал основной набор технологий, которые заложены сейчас в проект
Я ничего не знал из них до того, как ввязался в разработку
Когда делал какие-то прототипчики внутренних инструментов для себя вообще не парился, что там будет — работает и ладно
Когда решил сделать платный продукт, пришлось разбираться. И тут столько всего повылезало сразу😵
Можно ли попроще? Вроде как да, я уже видел сервисы на коленке, которые «как-то навайбкодили и продают». Вроде бы зарабатывают
Но я хочу выпустить нормальный проект, который смогу поддерживать и развивать. Сделать на коленке не вариант
Разбираюсь со всей этой историей через боль: сбор документации, перепроверка десятками агентов, обсуждение архитектуры, формирование подробных техзаданий, написание кода, еще сотни итераций аудита
Так от вайбкодинга остался только кодинг. Не в том плане, что я пишу код, а в том плане, что приходится разбираться в деталях происходящего и каждый день принимать десятки технических решений, которые повлияют на продукт. А я как бы не разработчик
Спасаюсь промптами «объясни как для чайника» и «опиши плюсы, минусы и проблемы каждого решения с точки зрения X»
Прям дофига всего. На скриншоте собрал основной набор технологий, которые заложены сейчас в проект
Я ничего не знал из них до того, как ввязался в разработку
Когда делал какие-то прототипчики внутренних инструментов для себя вообще не парился, что там будет — работает и ладно
Когда решил сделать платный продукт, пришлось разбираться. И тут столько всего повылезало сразу
Можно ли попроще? Вроде как да, я уже видел сервисы на коленке, которые «как-то навайбкодили и продают». Вроде бы зарабатывают
Но я хочу выпустить нормальный проект, который смогу поддерживать и развивать. Сделать на коленке не вариант
Разбираюсь со всей этой историей через боль: сбор документации, перепроверка десятками агентов, обсуждение архитектуры, формирование подробных техзаданий, написание кода, еще сотни итераций аудита
Так от вайбкодинга остался только кодинг. Не в том плане, что я пишу код, а в том плане, что приходится разбираться в деталях происходящего и каждый день принимать десятки технических решений, которые повлияют на продукт. А я как бы не разработчик
Спасаюсь промптами «объясни как для чайника» и «опиши плюсы, минусы и проблемы каждого решения с точки зрения X»
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5😢3💯2
Через неделю релиз продукта, а он еще не готов
Вроде вайбкодинг, но релиз сдвигается уже месяца полтора. Каждый раз казалось, что вот, тут всё готово, осталась фигня. А потом начинаешь разработку этого блока и внезапно вместо одного дня на неё уходит неделя
Что за эту неделю сделал:
1. Настроил сжатие картинок и подготовил интеграцию с CDN
Дал демо посмотреть Паше Молянову, он пожаловался, что картинки грузит долго. CDN у меня был в планах, но я думал не критично. Сел разбираться и понял, что картинки в ленте адски тяжелые и выпускать продукт в публичное поле в таком виде нельзя
Ожидал, что подключу CDN за часик и всё ок. В реальности оказалось, что да, CDN умеет сжимать картинки, но «бесплатный лимит» 10 000 сжатий в месяц и в сжатом виде они хранятся всего сутки. Как только запущу пользователей, лимит съест в первый день, а дальше придётся платить каждый день за каждую сжатую картинку по кругу. По расчетам, даже на небольшом объёме пользователей вышло бы в 90 000 рублей в месяц за эту фишку
Пришлось кодить полноценный процесс, в котором картинки сначала попадают в базу в оригинальном виде, в базе ставится пометка что нет сжатой копии, потом отдельный скрипт эти картинки отлавливает и сжимает, обновляя базу. Одновременно в ленту пришлось писать код, что не сжатые картинки мы там не показываем. Чтобы ничего не встало, пришлось писать скрипты-защитники, которые проверяют очередь и не дают ей встать, а если всё встало, то присылают уведомление мне
Теперь, когда все картинки автоматически сжимает мой сервер, CDN их будет просто отдавать как есть и это будет стоить в десятки раз меньше. Но ушла неделя
2. Почти доделал регистрацию и авторизацию пользователей
Возможно тут сыграл мой перфекционизм, но хотелось сразу сделать норм — безопасно, с лимитами от ботов, с соблюдением закона о персональных данных, по которому надо согласие пользователя на обработку персональных данных фиксировать в отдельную базу и там хранить
Четыре дня ушло только на формирование чертежей, как это всё будет работать и какие нюансы надо учесть. Три дня кодил и фиксил баги. Кажется, регистрация теперь работает, но по хорошему еще надо прогнать несколько раундов аудита, сформировать политику, сделать дизайн формы регистрации и логина
3. Рост базы
База доросла до 5 799 рекламодателей и 65 620 баннеров. Покрывает всю страну, не только города-милионники. Это тоже для меня был принципиальный момент — если уж делать такую платформу, то чтобы можно было найти конкурентов в любом городе
В начале недели упал весь сбор, провайдер прокси стал блокировать доступ к Авито. Но ничего об этом не сказал, поэтому сначала казалось, что Авито поменял защиту. Пришлось повозиться, прежде чем понял в чем проблема и нашёл новые прокси
Вроде вайбкодинг, но релиз сдвигается уже месяца полтора. Каждый раз казалось, что вот, тут всё готово, осталась фигня. А потом начинаешь разработку этого блока и внезапно вместо одного дня на неё уходит неделя
Что за эту неделю сделал:
1. Настроил сжатие картинок и подготовил интеграцию с CDN
Дал демо посмотреть Паше Молянову, он пожаловался, что картинки грузит долго. CDN у меня был в планах, но я думал не критично. Сел разбираться и понял, что картинки в ленте адски тяжелые и выпускать продукт в публичное поле в таком виде нельзя
Ожидал, что подключу CDN за часик и всё ок. В реальности оказалось, что да, CDN умеет сжимать картинки, но «бесплатный лимит» 10 000 сжатий в месяц и в сжатом виде они хранятся всего сутки. Как только запущу пользователей, лимит съест в первый день, а дальше придётся платить каждый день за каждую сжатую картинку по кругу. По расчетам, даже на небольшом объёме пользователей вышло бы в 90 000 рублей в месяц за эту фишку
Пришлось кодить полноценный процесс, в котором картинки сначала попадают в базу в оригинальном виде, в базе ставится пометка что нет сжатой копии, потом отдельный скрипт эти картинки отлавливает и сжимает, обновляя базу. Одновременно в ленту пришлось писать код, что не сжатые картинки мы там не показываем. Чтобы ничего не встало, пришлось писать скрипты-защитники, которые проверяют очередь и не дают ей встать, а если всё встало, то присылают уведомление мне
Теперь, когда все картинки автоматически сжимает мой сервер, CDN их будет просто отдавать как есть и это будет стоить в десятки раз меньше. Но ушла неделя
2. Почти доделал регистрацию и авторизацию пользователей
Возможно тут сыграл мой перфекционизм, но хотелось сразу сделать норм — безопасно, с лимитами от ботов, с соблюдением закона о персональных данных, по которому надо согласие пользователя на обработку персональных данных фиксировать в отдельную базу и там хранить
Четыре дня ушло только на формирование чертежей, как это всё будет работать и какие нюансы надо учесть. Три дня кодил и фиксил баги. Кажется, регистрация теперь работает, но по хорошему еще надо прогнать несколько раундов аудита, сформировать политику, сделать дизайн формы регистрации и логина
3. Рост базы
База доросла до 5 799 рекламодателей и 65 620 баннеров. Покрывает всю страну, не только города-милионники. Это тоже для меня был принципиальный момент — если уж делать такую платформу, то чтобы можно было найти конкурентов в любом городе
В начале недели упал весь сбор, провайдер прокси стал блокировать доступ к Авито. Но ничего об этом не сказал, поэтому сначала казалось, что Авито поменял защиту. Пришлось повозиться, прежде чем понял в чем проблема и нашёл новые прокси
❤🔥6👍2
Релиз через неделю не просто так
До этого у меня были внутренние дедлайны, но недавно договорился с крупным реселлером, что предоставлю сервис для их клиентов. При том, что продукт еще не готов и у него нет пользователей, мы договорились о предоплате вперёд и о сроках запуска 15-16 июня
Пока вели переговоры, пришёл представитель еще одного реселлера уже сам и предложил обсудить партнерство. Возможно позже договоримся, но сейчас я остановился на первом
Дикий кайф, когда у тебя еще продукт не готов, но тебе уже предлагают его дистрибуцию и предоплату в счёт будущей комиссии😊
До этого у меня были внутренние дедлайны, но недавно договорился с крупным реселлером, что предоставлю сервис для их клиентов. При том, что продукт еще не готов и у него нет пользователей, мы договорились о предоплате вперёд и о сроках запуска 15-16 июня
Пока вели переговоры, пришёл представитель еще одного реселлера уже сам и предложил обсудить партнерство. Возможно позже договоримся, но сейчас я остановился на первом
Дикий кайф, когда у тебя еще продукт не готов, но тебе уже предлагают его дистрибуцию и предоплату в счёт будущей комиссии
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4🤩1
В чем суть saas?) не могу найти в канале
Я делаю spy-сервис по Авито Рекламе. Предыстория тут → https://tg-me.sbs/boringmarketer/1282
Прямой аналог: Avimaps, пока они единственные на рынке
Та же суть, но другие платформы: SpyWords, Keys so, Tgmaps. Хотя у SpyWords и Keys so не только этот функционал, но и всякие инструменты для SEO
В процессе разработки решил, что на одном Авито ограничиваться не буду. Я хочу добавить все рекламные платформы, до которых смогу дотянуться
Будет так, что маркетолог заходит в сервис, вводит запрос и у него перед глазами весь конкурентный ландшафт в его регионе или по всей стране. Размещаются ли конкуренты в РСЯ? Используют ли Промостраницы? Есть ли у них квизы? Гонят ли трафик в Макс? Сколько креативов используют? На чем делают акцент? Всё это за минуты, а не часы ресерча с десятками вкладок в браузере
🔥14👍6⚡5❤2👏1
Важная новость: агентский кабинет Авито Pro для продвижения объявлений селлеров теперь развивается как Avito Promo
За последний год кабинет заметно расширился: появилось больше инструментов и отдельных решений для продвижения.
Avito Promo позволяет выйти на «горячую» аудиторию — приоритет смещается на качественный трафик. Креативы в карточках и нестандартные форматы помогают стать заметнее, а оплата за результат и прозрачная статистика дают прогнозируемые показатели.
В одном кабинете — управление работой агентства, продвижение объявлений селлеров, инструменты аналитики и автоматизации.
Подробности — по ссылке.
За последний год кабинет заметно расширился: появилось больше инструментов и отдельных решений для продвижения.
Avito Promo позволяет выйти на «горячую» аудиторию — приоритет смещается на качественный трафик. Креативы в карточках и нестандартные форматы помогают стать заметнее, а оплата за результат и прозрачная статистика дают прогнозируемые показатели.
В одном кабинете — управление работой агентства, продвижение объявлений селлеров, инструменты аналитики и автоматизации.
Подробности — по ссылке.
❤3
Делюсь превью интерфейса
Бета-версию уже попробовали несколько человек и все отметили интерфейс
Особенно меня порадовал отзыв Паши Молянова: «выглядит ваще не как вайбкодинг, хаха»
Задача была сделать удобно, быстро и функционально. А еще так, чтобы проект выглядел нормально, а не как тысячи продуктов, что вайбкодят на коленке за ночь
На фронт ушло несколько недель. Агенты сразу писали код, а я открывал его в браузере, смотрел, давал фидбэк, искал референсы отдельных элементов, давал задачу всё переписать и так сотни раз
Первые наброски у меня были еще c помощью Claude Opus 4.5, у него с интерфейсами было прям ооочень плохо. Opus 4.8 делает чуть чище, но всё равно до кнопки «сделай хорошо» ещё очень далеко — человек без насмотренности хороший интерфейс сам собрать не сможет
Сейчас мне нравится почти всё. Однозначно заменил бы шрифт, но пока остановился на бесплатном интерфейсном IBM Plex Sans, как наберу пользователей — схожу к TypeType и попрошу подобрать замену из их коллекции
Бета-версию уже попробовали несколько человек и все отметили интерфейс
Особенно меня порадовал отзыв Паши Молянова: «выглядит ваще не как вайбкодинг, хаха»
Задача была сделать удобно, быстро и функционально. А еще так, чтобы проект выглядел нормально, а не как тысячи продуктов, что вайбкодят на коленке за ночь
На фронт ушло несколько недель. Агенты сразу писали код, а я открывал его в браузере, смотрел, давал фидбэк, искал референсы отдельных элементов, давал задачу всё переписать и так сотни раз
Первые наброски у меня были еще c помощью Claude Opus 4.5, у него с интерфейсами было прям ооочень плохо. Opus 4.8 делает чуть чище, но всё равно до кнопки «сделай хорошо» ещё очень далеко — человек без насмотренности хороший интерфейс сам собрать не сможет
Сейчас мне нравится почти всё. Однозначно заменил бы шрифт, но пока остановился на бесплатном интерфейсном IBM Plex Sans, как наберу пользователей — схожу к TypeType и попрошу подобрать замену из их коллекции
🔥7👍6👏1🙈1