LLM как источник консолидированных знаний
Занимаясь проектом по реализации синтетических пользователей для ускорения извлечения инсайдов с помощью LLM в custdev-ах, пришел к интересному наблюдению.
В нашем мире знания распределены между различными отдельными инстансами (людьми, книгами, и т.д.), в случае с людьми - очень смещенными.
Интернет – это пример первого удобного источника агрегированных знаний (до него, например, были библиотеки / энциклопедии).
LLM – это новое поколение инструментов с консолидированными знаниями (для меня это еще одно объяснение, почему LLM так хорошо зашли: многие мои знакомые теперь идут в deepseek, а не гугл, чтобы понять как сделать VAT refund в поездке или понять что делать с отменой рейса).
Рассмотрим на примере custdev-ов (глубинных интервью).
Раньше:
1. Выбираешь целевой сегмент пользователей
2. Формулируешь гипотезы болей
3. Собираешь 20-30 человек
4. Проводишь интервью, спрашиваешь о том, что “болит”
5. Собираешь транскрипты, фиксируешь инсайды (субъективно относительно того, что проводит custdev)
6. Делаешь саммари
7. Формулируешь идеи / гипотезы продуктов
8. Делаешь корректировки и повторяешь процесс
** Шаги 5-6-7 – это переход от отдельных смещенных инсайтов к агрегированному “знанию”
С приходом LLM как это выглядит теперь:
1. Выбираешь целевой сегмент пользователей – через промпт
2. Формулируешь гипотезы болей – через промпт (+ задаешь контекст)
3. Получаешь инсайды уже в виде саммари и идеи
Почему так? Внутри LLM уже содержится информация по всем-всем вариантам (которые встречались при обучении конечно), и ее ответ УЖЕ агрегированная информация. Нет смысла генерировать 30-50 диалогов с пользователями (тут есть отдельный риск, какой кстати?) и потом делать саммари (через ту же GPT).
В реальной жизни без LLM мы так делать не можем – надо сэмплировать знания из отдельных людей и потом агрегировать.
P.S. в этом посте я намеренно не рассуждаю на тему репрезентативности инсайдов от “синтетиков” и не говорю о том, что привычные custdev-ы больше не нужны. Мне интересно посмотреть и порассуждать в комментах на интересный кмк переход и к чему он может привести.
Занимаясь проектом по реализации синтетических пользователей для ускорения извлечения инсайдов с помощью LLM в custdev-ах, пришел к интересному наблюдению.
В нашем мире знания распределены между различными отдельными инстансами (людьми, книгами, и т.д.), в случае с людьми - очень смещенными.
Интернет – это пример первого удобного источника агрегированных знаний (до него, например, были библиотеки / энциклопедии).
LLM – это новое поколение инструментов с консолидированными знаниями (для меня это еще одно объяснение, почему LLM так хорошо зашли: многие мои знакомые теперь идут в deepseek, а не гугл, чтобы понять как сделать VAT refund в поездке или понять что делать с отменой рейса).
Рассмотрим на примере custdev-ов (глубинных интервью).
Раньше:
1. Выбираешь целевой сегмент пользователей
2. Формулируешь гипотезы болей
3. Собираешь 20-30 человек
4. Проводишь интервью, спрашиваешь о том, что “болит”
5. Собираешь транскрипты, фиксируешь инсайды (субъективно относительно того, что проводит custdev)
6. Делаешь саммари
7. Формулируешь идеи / гипотезы продуктов
8. Делаешь корректировки и повторяешь процесс
** Шаги 5-6-7 – это переход от отдельных смещенных инсайтов к агрегированному “знанию”
С приходом LLM как это выглядит теперь:
1. Выбираешь целевой сегмент пользователей – через промпт
2. Формулируешь гипотезы болей – через промпт (+ задаешь контекст)
3. Получаешь инсайды уже в виде саммари и идеи
Почему так? Внутри LLM уже содержится информация по всем-всем вариантам (которые встречались при обучении конечно), и ее ответ УЖЕ агрегированная информация. Нет смысла генерировать 30-50 диалогов с пользователями (тут есть отдельный риск, какой кстати?) и потом делать саммари (через ту же GPT).
В реальной жизни без LLM мы так делать не можем – надо сэмплировать знания из отдельных людей и потом агрегировать.
P.S. в этом посте я намеренно не рассуждаю на тему репрезентативности инсайдов от “синтетиков” и не говорю о том, что привычные custdev-ы больше не нужны. Мне интересно посмотреть и порассуждать в комментах на интересный кмк переход и к чему он может привести.
❤13👍4🔥4
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣42🔥7🤝1
2025 — Очередной диалог с топ менеджером про ИИ [2]
С сегодняшней встречи:
…
А я думаю, почему некоторые 1000% пресейлы не закрываются. Оказывается пора становиться правильным футурологом и внедряться в крупных клиентов. проекты пойдут ещё лучше 🙃
С сегодняшней встречи:
«…К нашему руководству приходил футуролог и делал расклад на будущее. Так вот он сказал, что в ИИ вкладываться не надо, поэтому сейчас у руководства есть сомнения / сопротивления в представленных ИИ кейсах. Давайте подумаем, что мы можем сделать»
…
А я думаю, почему некоторые 1000% пресейлы не закрываются. Оказывается пора становиться правильным футурологом и внедряться в крупных клиентов. проекты пойдут ещё лучше 🙃
🤣22🔥11🤯7
Вдохновлено реальными событиями, за мессдж спасибо @s_okrug
я помню, когда-то давно, когда я первый раз оказался на корпоративном булщит-звонке, где все общаются, а я ничего не понимаю, я потом спросил у своего сто, как у него получается держать каменное лицо и адекватно отвечать на абсолютно больные какие-то вопросы, где вообще ничего не понятно
ответ убил, как говорится, — надо просто не слушать собеседника, просто сидишь с умным видом, примерно понимаешь о чем речь, на уровне направления и не пытаешься понять и ответить на вопрос, а просто рассказываешь, что хочешь рассказать
так на звонке оказывается, что никто ни с кем не разговаривает, но что-то вперед движется (но не всегда)
😁20🤣15🗿9🔥1🤝1
Продолжаем серию про ML и детей
У нас пошла 6-ая эпоха обучения. Что нового?
Как никогда актуальна борьба с переобучением
Стараемся ломать устойчивые паттерны: «проснулся рано утром в субботу = смотрю мультики», «в примерочной, пока ждем маму, будем играть с папой в телефон».
Как то раз по дороге в садик мы уехали в парк аттракционов. Прямо посреди рабочей недели. Вот это был шок и взрыв градиентов 🤣
Бустрэпим
У нас конечно гора игрушек. Поэтому мы маскируем 75% игрушек на балконе, через пару месяцев повторяем)
Вообще обучение ребенка это конечно в чистом виде RL (Reinforcement Learning), поэтому вспомним Базу:
1. Exploration vs. Exploitation
Зачем мне пробовать пасту с креветками, если котлетки с пюре - это топ
Почему бы не подстричь себе волосы ножницами
Разрисуем стену в ванной папиной пеной для бритья и будем писать циферки
Запомни юный родитель-инженер, чтобы бороться с переобучением, не забываем поощрять exploration (исследования)!
2. Положительное и отрицательное подкрепления.
Наказания и поощрения очень коварный механизм.
Закрепляем связки «мне грустно / плачу --> хочу конфетку / сладенькое» и потом переносим это во взрослую жизнь.
Штрафуем policy, которая не учитывает родительские вводные)
Опытные инженеры знают, что самое сложное в RL – сбалансированная и понятная агенту функция вознаграждения!
3. Улучшаем reward и помогаем обучению
У детей часто sparse reward: «полностью оделся – молодец», «съел кашу – конфета». Долго, далеко, скучно.
А во взрослой жизни вообще reward еще и сильно отложен во времени: закончи универ, создай успешный бизнес.
Поэтому хвалим не только за результат, а за попытку действия: «попробовал - молодец» и растим внутреннюю мотивацию (intrinsic reward): интерес и любопытство.
В следующей серии LLM и attention!
У нас пошла 6-ая эпоха обучения. Что нового?
Как никогда актуальна борьба с переобучением
Стараемся ломать устойчивые паттерны: «проснулся рано утром в субботу = смотрю мультики», «в примерочной, пока ждем маму, будем играть с папой в телефон».
Как то раз по дороге в садик мы уехали в парк аттракционов. Прямо посреди рабочей недели. Вот это был шок и взрыв градиентов 🤣
Бустрэпим
У нас конечно гора игрушек. Поэтому мы маскируем 75% игрушек на балконе, через пару месяцев повторяем)
Вообще обучение ребенка это конечно в чистом виде RL (Reinforcement Learning), поэтому вспомним Базу:
1. Exploration vs. Exploitation
Зачем мне пробовать пасту с креветками, если котлетки с пюре - это топ
Почему бы не подстричь себе волосы ножницами
Разрисуем стену в ванной папиной пеной для бритья и будем писать циферки
Запомни юный родитель-инженер, чтобы бороться с переобучением, не забываем поощрять exploration (исследования)!
2. Положительное и отрицательное подкрепления.
Наказания и поощрения очень коварный механизм.
Закрепляем связки «мне грустно / плачу --> хочу конфетку / сладенькое» и потом переносим это во взрослую жизнь.
Штрафуем policy, которая не учитывает родительские вводные)
Опытные инженеры знают, что самое сложное в RL – сбалансированная и понятная агенту функция вознаграждения!
3. Улучшаем reward и помогаем обучению
У детей часто sparse reward: «полностью оделся – молодец», «съел кашу – конфета». Долго, далеко, скучно.
А во взрослой жизни вообще reward еще и сильно отложен во времени: закончи универ, создай успешный бизнес.
Поэтому хвалим не только за результат, а за попытку действия: «попробовал - молодец» и растим внутреннюю мотивацию (intrinsic reward): интерес и любопытство.
В следующей серии LLM и attention!
🔥31❤20🤩9👍4
❤5🔥2
Погрузиться в задачу, задать правильные вопросы и уже потом предлагать решения 🙌🙌🙌
было бы странно, если бы врач сразу назначал лекарства после жалоб "болит голова"
#отзыв
было бы странно, если бы врач сразу назначал лекарства после жалоб "болит голова"
#отзыв
🔥22🫡9😎7❤2👍1
Поделитесь плиз хорошими видосами про AI кейсы, внедрение LLM, или технические вебинары - ток без маркетингового буллщита 🙏🏻
а то watch later в YouTube закончился🙃
а то watch later в YouTube закончился🙃
❤5
Посмотрел лекцию от моего любимого Мутовина про управление личными изменениями.
Очень откликается, потому что для себя уже неоднократно оценил силу "акупунктурных" точек:
- когда поставил челлендж бегать 30 дней подряд, перезавелась привычка читать книги
- самая полезная на данный момент и пока работающая – ранний подъем и выезд в кофейню.
Чтобы делаем дальше:
1. Берем транскрипт отсюда: ссылка
2. Идем в chatgpt 5 Thinking (или в свою любимую)
3. Копируем промпт, заменяем {text}
4. Взаимодействуем с чатом и выписываем идеи экспериментов. Например, исследуем:
Очень откликается, потому что для себя уже неоднократно оценил силу "акупунктурных" точек:
- когда поставил челлендж бегать 30 дней подряд, перезавелась привычка читать книги
- самая полезная на данный момент и пока работающая – ранний подъем и выезд в кофейню.
Чтобы делаем дальше:
1. Берем транскрипт отсюда: ссылка
2. Идем в chatgpt 5 Thinking (или в свою любимую)
3. Копируем промпт, заменяем {text}
Вот лекция авторитетного для спикера о том, как привить изменения в жизни.
Вот транскрипт лекции:
"""
{сюда встравляем транскрипт лекции из ссылки выше (п.1)}
"""
Помоги мне для следующего списка целей задизайнить несколько экспериментов согласно принципам из лекции:
1. Цель
2. Вариант для "топливо"
3. Ищем акупунктнурную точку. Приведи несколько примеров акупунктнурных точек для каждой цели и топлива, это самое важное!
4. Идеи / дизайны экспериментов (не менее 5 шт.)
Список целей:
{пишем список из одной или нескольких целей. Сразу добавляем рядом контекст, вроде: занятие спортом – спортзал. важная деталь: сейчас в голове "отмазки" такие, что мой режим дня не позволяет вырваться в зал (есть абонемент в зал рядом с домом в 5 минутах}
4. Взаимодействуем с чатом и выписываем идеи экспериментов. Например, исследуем:
Помоги мне теперь проанализировать цель №3 – как в лекции – Методы поиска / по методу неприятия перемен. Задавай вопросы и помогай сделать выводы
Telegram
Ilya Mutovin Channel
Друзья, я выложил на канал лекцию про управление личными изменениями. Писал про нее тут.
Что на видео:
1. Что такое топливо для изменений. Почему одни виды “топлива” делают так, что изменения легко случаются, а другие не работают вовсе?
2. Как находить точки…
Что на видео:
1. Что такое топливо для изменений. Почему одни виды “топлива” делают так, что изменения легко случаются, а другие не работают вовсе?
2. Как находить точки…
2❤14🔥6👍2
Давно не писал, что у нас нового по проектам и пресейлам
А новостей довольно много:
1. Внедрили в Альфу 🅰️ Ассистента для портала разработчиков с RAG на базе YaGPT. 3 месяца уже тестируем - точность 76+% , бизнес-эффект: снижение тикетов на 40%. KPI пилота выполнили, готовимся идти дальше. Скоро сделаем вебинар в @r77_ai и расскажем немного технических деталей.
2. Прошли внутренние тесты AI агента-аналитика для inSales (это кстати реальный агент , точнее agentic workflow 🙂). Сейчас будем запускать пользователей и допиливать функциональность. Главная фича – переход от аналитики к рекомендациям. И вообще – верю в технологию Text-2-SQL, + то, что мы одних из лучших в РФ, кто в этом прокачались. Уже есть несколько запросов, где это внедряем.
3. В процессе еще одного пилота с другим топ-клиентом. Делаем семантические проверки огроооомных и сложных документов. Сейчас люди тратят не часы, а целые дни на проверку⏳ . Прикол в том, что это не очередной враппер чатгпт, а полноценный проект с разработкой онтологии, бэк, фронт и ну и куча ML/LLM экспериментов. На базе этого решения будем запускать еще один схожий кейс, но уже для валютного контроля.
4. Завершили уже несколько итераций по разработке AI агента для поиска и подбора отелей. Отличие от "популярных в СМИ" старт-апов в том, что это не B2C, а B2B, наш пользователь - турагент. А это меняетвсе многое :) Сделали эксперименты с готовыми агентами от OpenAI, сейчас собираем своего и полностью подконтрольного (на сколько это слово вообще применимо к термину "Агент") нам 😈
5. Но не только LLM-единым! Сделали пилот по прогнозированию вторичных продаж на маркетплейсах. Сейчас разрабатываем систему динамического ценообразования для очень крупной сети отелей.
Самые интересные пресейлы в работе:
1. Ждем и надеемся на старт видеоаналитики (ДААА, ЕСТЬ в 2025 и ТАКИЕ ПРОЕКТЫ!) для Dubai Police.
2. Свинки РусАгро были. Мраморные бычки Мираторга? Не, тоже было. А вот рыбы не было! Хотим улучшать конверсию выживаемости лосося из малька в крупную рыбку. Там и CV, и таблички. Интересно.
3. Планируем помогать футбольным скаутам с гибкой аналитикой показателей под запрос (помним про Text-2-SQL)
4. Как вам связка CV + падл теннис, который оверпопулярный сейчас (хз, что больше - ИИ или падл по хайповости)?
А новостей довольно много:
1. Внедрили в Альфу 🅰️ Ассистента для портала разработчиков с RAG на базе YaGPT. 3 месяца уже тестируем - точность 76+% , бизнес-эффект: снижение тикетов на 40%. KPI пилота выполнили, готовимся идти дальше. Скоро сделаем вебинар в @r77_ai и расскажем немного технических деталей.
2. Прошли внутренние тесты AI агента-аналитика для inSales (это кстати реальный агент , точнее agentic workflow 🙂). Сейчас будем запускать пользователей и допиливать функциональность. Главная фича – переход от аналитики к рекомендациям. И вообще – верю в технологию Text-2-SQL, + то, что мы одних из лучших в РФ, кто в этом прокачались. Уже есть несколько запросов, где это внедряем.
3. В процессе еще одного пилота с другим топ-клиентом. Делаем семантические проверки огроооомных и сложных документов. Сейчас люди тратят не часы, а целые дни на проверку
4. Завершили уже несколько итераций по разработке AI агента для поиска и подбора отелей. Отличие от "популярных в СМИ" старт-апов в том, что это не B2C, а B2B, наш пользователь - турагент. А это меняет
5.
Самые интересные пресейлы в работе:
1. Ждем и надеемся на старт видеоаналитики (ДААА, ЕСТЬ в 2025 и ТАКИЕ ПРОЕКТЫ!) для Dubai Police.
2. Свинки РусАгро были. Мраморные бычки Мираторга? Не, тоже было. А вот рыбы не было! Хотим улучшать конверсию выживаемости лосося из малька в крупную рыбку. Там и CV, и таблички. Интересно.
3. Планируем помогать футбольным скаутам с гибкой аналитикой показателей под запрос (помним про Text-2-SQL)
4. Как вам связка CV + падл теннис, который оверпопулярный сейчас (хз, что больше - ИИ или падл по хайповости)?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤30🔥21
Пока доход = твоим часам – это работа.
Когда доход > твоих часов – это бизнес.
Когда доход > > твоих часов – это продукт.
Когда доход > твоих часов – это бизнес.
Когда доход > > твоих часов – это продукт.
👍17🔥10💯6
Мир, где ИИ пишет ИИ, уже наступил
Все чаще замечаю как разные коммуникации (личные переписки, "разборки", обмен ТЗ и КП с клиентами) идут через ChatGPT.
Как на самом деле выглядит “диалог”:
Люди шепчут идею и контекст → GPT пишет текст → GPT на другой стороне помогает осмыслить его второй стороне → Человек шепчет тезисы для ответа → GPT пишет ответ. И так по кругу.
Получается идет ИИ–to-ИИ коммуникация с человеческими подсказками)))
Интересно, как можно это можно заэксплуатировать в своих целях? чтобы 2ая сторона лучше поняла или наоборот, заюзать и мягко склонить к своему мнению😈
Все чаще замечаю как разные коммуникации (личные переписки, "разборки", обмен ТЗ и КП с клиентами) идут через ChatGPT.
Как на самом деле выглядит “диалог”:
Люди шепчут идею и контекст → GPT пишет текст → GPT на другой стороне помогает осмыслить его второй стороне → Человек шепчет тезисы для ответа → GPT пишет ответ. И так по кругу.
Получается идет ИИ–to-ИИ коммуникация с человеческими подсказками)))
Интересно, как можно это можно заэксплуатировать в своих целях? чтобы 2ая сторона лучше поняла или наоборот, заюзать и мягко склонить к своему мнению
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤2
Сейчас есть немного контентных и полезных конференций на тему LLM / GenAI. Конференция Conversations – одна из таких, где можно посмотреть практичные бизнес-решения и реальную экспертизу.
5 декабря, Москва и онлайн.
Вот описание конференции:
Программа насыщенная, делюсь докладами, которые зацепили меня:
- Computer use агент для оптимизации операционки: от сбора данных с экрана до full-auto режима в проде. Дмитрий Битман, Т-Банк
- LLM для слов, MCP для цифр: как можно оптимизировать экономику проектов с помощью MCP-серверов. Иван Четвериков, Raft
- Lean-подход ВкусВилла к AI-инновациям: кейс применения компьютерного зрения для оценки свежести продуктов. Полина Муляк, ВкусВилл
- Универсальный агент = ReAct + REPL. Константин Крестников, Сбер
+ доклады от Норникель, Plata (Mexico), Яндекс, Just AI, Positive Technologies, Axenix и других. Полную программу можете посмотреть на сайте.
И конечно промокод на покупку билета: CVS25mHSw
5 декабря, Москва и онлайн.
Вот описание конференции:
Период экспериментов с генеративками подходит к концу – сегодня AI в своей работе используют уже больше половины российских компаний. Но как внедрять genAI так, чтобы видеть эффект в P&L?
Программа насыщенная, делюсь докладами, которые зацепили меня:
- Computer use агент для оптимизации операционки: от сбора данных с экрана до full-auto режима в проде. Дмитрий Битман, Т-Банк
- LLM для слов, MCP для цифр: как можно оптимизировать экономику проектов с помощью MCP-серверов. Иван Четвериков, Raft
- Lean-подход ВкусВилла к AI-инновациям: кейс применения компьютерного зрения для оценки свежести продуктов. Полина Муляк, ВкусВилл
- Универсальный агент = ReAct + REPL. Константин Крестников, Сбер
+ доклады от Норникель, Plata (Mexico), Яндекс, Just AI, Positive Technologies, Axenix и других. Полную программу можете посмотреть на сайте.
И конечно промокод на покупку билета: CVS25mHSw
Conversations-Ai
Conversations – конференция по генеративному AI в бизнесе, продуктах и разработке.
Кейсы и стратегии, ROI и масштабирование GenAI-решений, AI-агенты и MAS, AI-инфраструктура и безопасность, SLM, экономика и жизненный цикл AI-продуктов, UX и метрики GenAI.
❤8👏4🔥2👀2😁1🆒1
Однажды Ваня Г. сказал мне, что забанил у себя слово «работа». Подумал, что мне оно тоже не нравится, но на какое заменить? А тут у каждого свое.
У него замена была «манеймейкинг», у многих друзей - «бизнес» (но для меня тут есть флейвор от «бизинесс»).
Подумал, что наилучшим образом то, что я/мы делаем сейчас в R77.ai, описывается словом творчество. Каждый проект / каждый запрос и их обработка, это творчество в чистом виде. От коммуникации до реализации архитектуры и сценариев. Даже те продукты, которые мы внутри создаем.
Приятное слово.
❤32🔥2
Please open Telegram to view this post
VIEW IN TELEGRAM
😁29💯8❤🔥3🔥2❤1
Q4’25 анализ из нашей CRM
Продолжаю делиться тем, что реально происходит на рынке ИИ “в полях”
tl;dr: спрос есть, но сделки зависают на последней миле.
Статистика:
- Кол-во лидов в Q4 выросло на 7% (67 квал. лидов)
- 32% зависли в "Ждем фидбэк по КП"
- 26% застряли до КП на фазе уточнения требований
- В финалах 43% отказов "без причины" (чаще всего – клиент уходит думать, оценивать ROI от ИИ)
Что это говорит про рынок ИИ:
- Все хотят “ИИ”, но покупают “следующий шаг”, а не "вижн".
Лиды приходят, КП отправляются, но дальше клиент быстро теряет "интерес"
- Рынок смещается в реальные кейсы с эффектом, а не "сказки" про ИИ
Узкое место у нас – дожим после КП, хоть это и выглядит как рыночный паттерн: “покажите прототип/ROI/риски”.
Основной спрос все еще на NLP(LLM): 58% лидов.
Пару интересных запросов:
1. Приемка яблок с компьютерным зрением🍎
2. ИИ-Агент для Process Mining, интересно что получится 🔥
3. Копилот для Продактов в корпорациях 👨🎨
4. Проверка договоров на соответствие требованиям 📄
5. Построение 360-панорамы с камер машины 🚖
Продолжаю делиться тем, что реально происходит на рынке ИИ “в полях”
tl;dr: спрос есть, но сделки зависают на последней миле.
Статистика:
- Кол-во лидов в Q4 выросло на 7% (67 квал. лидов)
- 32% зависли в "Ждем фидбэк по КП"
- 26% застряли до КП на фазе уточнения требований
- В финалах 43% отказов "без причины" (чаще всего – клиент уходит думать, оценивать ROI от ИИ)
Что это говорит про рынок ИИ:
- Все хотят “ИИ”, но покупают “следующий шаг”, а не "вижн".
Лиды приходят, КП отправляются, но дальше клиент быстро теряет "интерес"
- Рынок смещается в реальные кейсы с эффектом, а не "сказки" про ИИ
Узкое место у нас – дожим после КП, хоть это и выглядит как рыночный паттерн: “покажите прототип/ROI/риски”.
Основной спрос все еще на NLP(LLM): 58% лидов.
Пару интересных запросов:
1. Приемка яблок с компьютерным зрением🍎
2. ИИ-Агент для Process Mining, интересно что получится 🔥
3. Копилот для Продактов в корпорациях 👨🎨
4. Проверка договоров на соответствие требованиям 📄
5. Построение 360-панорамы с камер машины 🚖
1🔥11🤔8❤4