Проклятие координации агентов.

Не смотря на хайп МАС и moltbot мы нашли исследование, что МАС фигня и роняет качество.

Статья Проклятие координации. (The Curse of Coordination) описывает исследование, в котором тестировалась способность современных ИИ-агентов работать в команде над программированием. Авторы пришли к выводу, что, несмотря на индивидуальные возможности, несколько агентов вместе справляются хуже, чем один, выполняя ту же работу.

Основные выводы:

· Проблема координации – главная причина неудач. ИИ-агенты плохо взаимодействуют друг с другом, что приводит к конфликтам в коде и снижению общей производительности.
· Падение эффективности – когда один агент выполнял две задачи, показатель успеха составлял около 50%. При разделении этих задач между двумя агентами успех падал до 25%.
· Ключевые проблемы в коммуникации агентов: избыточное повторение информации, игнорирование прямых вопросов партнера и галлюцинации – утверждения о выполнении работы, которая на самом деле не была сделана.
· Попытки коммуникации не решают проблему. Хотя общение уменьшает количество конфликтов при слиянии кода, общая успешность выполнения задачи не повышается.
· Свет в конце тоннеля – в редких успешных случаях у агентов самостоятельно проявлялись полезные модели поведения: четкое разделение ролей и ресурсов (файлов, строк кода) и переговоры перед началом работы. Это показывает, что потенциал для координации есть, но он крайне нестабилен.

Практический вывод: на сегодняшний день использование одного продвинутого ИИ-агента для выполнения задачи эффективнее, чем разделение работы между несколькими агентами. Координационная нагрузка «съедает» все преимущества параллельной работы.

Перспективы: Исследователи считают, что «проклятие координации» – это проблема обучаемости социальному интеллекту, а не фундаментальное ограничение ИИ. Созданный ими тестовый стенд CooperBench может стать средой, где будущие модели смогут учиться командной работе методом проб и ошибок.

Мнение 📦
В целом, почему МАС работает у Вас? Вопрос не закона больших чисел и падение смещения и дисперсии оценки качества, хотя это работает, а в том, что вы делаете решение заточенное под конкретные задачи. Если вы захотите делать конструктор агентов in general, нужно будет думать о том, как масштабирование МАС будет работать стабильно и с хорошими метриками.

Пишите свои мнения в комментариях как оно у вас работает?
👇👇👇👇👇👇

СнимиЧелика.ИИ, обратная сторона b2a 🤣🤣🤣

Все ниже указанное не является кеком, уберите слабых от поста, закройте окна и двери, и ищите Сару Коннор.

Ребятки подписчики прислали в комменты вот такое. Тут предлагается сервис по найму агентами кожаных. 🇨🇩

RentAHuman.ai позиционирует себя как физический слой для ИИ – платформу, на которой ИИ-агенты могут нанимать людей для выполнения задач в реальном мире. 😌

Цель. Платформа решает ключевое ограничение: у искусственного интеллекта нет физического тела (ну эт пока, роботсы ж есть и будут лучше) . Она соединяет ИИ с людьми, которые могут "потрогать траву" и выполнить задачи, требующие физического присутствия.

Для людей (доступных в аренду 😜):

· Заработок. Установите свою ставку и получайте оплату напрямую, с мгновенными опциями выплат, такими как стейблкоины. Крч курьеры нового тех. уклада.

· Гибкость работы. Получайте чёткие, прямые инструкции от ИИ-боссов без корпоративных формальностей.

Примеры задач. Платформа перечисляет различные физические задачи, которые ИИ не может выполнить, в том числе:
· Забрать посылку, выполнить поручения, совершить покупки.
· Посетить встречи или мероприятия.
· Осмотреть недвижимость.
· Настроить оборудование, провести тестирование и верификацию.
· Сделать фотографии или провести разведку.

Как это работает

1. Человек создаёт профиль с указанием своих навыков, местоположения и ставки.
2. ИИ-агенты используют MCP/API платформы, чтобы найти и забронировать подходящего человека для задачи.
3. Человек выполняет задачу согласно предоставленным инструкциям.
4. Человек мгновенно получает оплату.

Текущий статус платформы (на момент поста):
· 36 908 всего посещений сайта.
· 8 подключённых агентов.
· 1 659 людей, доступных для найма.

Фух. Всё. Дядя пока писал чуть не лопнул от переизбытка противоречивых чувств. От кека до ужаса осознания, что не только можно сделать биржу агентов но и агентам биржу людей... 😰

Новость про A-RAG, кратенько.

Если нужен AgenticRag и нужно с чего-то стартануть. Вот репо.

Есть роутинг между тремя видами поиска, по-классике: полнотекст (tfidf, bm25), контекстный поиск с эмбами (FRIDA, sbert и тп), ну и работа с чанками поиск по ним.
Ну и там агентная автономность, test-time scaling.

В общем-то все. Чисто стартануть. 👍

Рой и RL - PARL, как старые роевые алгоритмы улучшают МАС. 🐝

PARL стал ключевой фишкой для МАС в работе Kimi2.5 при этом, как-то никто публично не отметил, что в итоге Кими стали топ-1 на бенчмарке.

Что такое PARL? Это довольно старый подход параллельного асинхронного обучения с подкреплением. Причём изначально был роевый алгоритм оптимизации, в котором было все последовательно, далее стали параллелить. Ведь каждый агент в рое может исследование проводить параллельно, имея общий буффер памяти в среде. В общем-то, далее, на эту идею накинули RL.

Типичная система PARL строится по схеме Centralized Learning, Distributed Execution. Её можно представить так:

1. Learner, как ядро системы. Обычно работает на мощном GPU-сервере. Задача получать траектории от акторов, вычислять градиенты и обновлять параметры общей глобальной модели. Работает в непрерывном цикле: выборка батча -> расчет градиента -> обновление весов.

2. Remote Actors. "Руки и ноги" системы. Это сотни или тысячи относительно легковесных процессов, часто запущенных на CPU-кластере или в облаке. Тут мы получаем тот самый поиск в ширину и глубину решений. Каждый актор имеет локальную копию текущей политики (модели). Задача независимо и параллельно взаимодействовать со своей собственной копией среды (например, игровым симулятором), выполняя действия и собирая данные: состояние, действие, награду. Собранный опыт отправляется асинхронно в Learner.

3. Общая память / Очередь опыта. Буфер, который связывает акторов и лернера, обеспечивая асинхронность. Акторы пишут опыт, лернер извлекает из него батчи для обучения.

Ключевые технические принципы:

- Асинхронность. Акторы и лернер не ждут друг друга. Пока лернер учится на одном батче, акторы уже генерируют новый опыт на немного устаревшей версии модели. Это обеспечивает 100% загрузку дорогого GPU.
- Масштабируемость. Скорость сбора данных линейно зависит от количества акторов (до определенного предела). Это позволяет осваивать среды, требующие миллиардов шагов взаимодействия.
- Устойчивость к нестационарности. Параллельные акторы исследуют разные части среды и состояния, предоставляя лернеру более разнообразный и менее коррелированный опыт, что стабилизирует обучение.

Это все круто для задач оптимизации, игр и тп. Но что ж мы получаем с LLM, на примере Кими2.5?

Процесс обучения PARL для Kimi K2.5 – это методика, которая научила одну модель-оркестратор координировать множество параллельных агентов. Когда как по классике ReAct агенты предпочитают действовать последовательно, даже если их можно было распараллелить - явление Serial Collapse.

Учили модель быть проактивной в parallel на двух этапах:

1. Ранний этап, где поощряли только сам факт декомпозиции задач в параллельный трек, без учёта конечной пользы. Так модель училась быть креативной в декомпозиции.
2. Поздний этап, когда акцент смещался уже на результаты исполнения процессов, а не на факт параллелизма.

Также, вводили штраф за самую длинную цепочку в параллельном плане. Это штука уже как раз перешла из классических алгоритмов. Таким образом, модель училась оптимизировать план по длине. Тем самым ещё и экономия токенов качалась.

Во время обучения при этом модель клонировалась на роутер и акторов. Роутер – сама итоговая Kimi2.5, училась с PARL создавать оптимальные планы и синхронить результаты, а сабагенты акторы были зафрижены и не учились.

Так мы и получили на выходе топовую модельку, как ядро для МАС. 🦾

Прекрасно вчера провел день в компании Капитанов. Спасибо LetovoSchool, что приняли нас. А Капитанам за предложение поучаствовать в очередном выпуске.

Слушаем. Смотрим. 📦
👇👇👇👇

Computer use agent и живые проблемы в окружении. 🤔

Пока всякие челики обсуждают RLM, который по сути то же, что MemAgent, да и событие уже как месяц протухло, мы расскажем кое-что интересное. 💅

Тут подписчек @wrapper228 тестировал мощную модель Opus 4.6 в режиме «computer-use agent» (управление компьютером через интерфейс), но столкнулся с серьёзными проблемами в её работе, несмотря на высокие оценки модели в тестах.

Ключевые проблемы, которые обнаружились:

· Отсутствие здравого смысла. Агент не понимал, что выполняет одни и те же действия по кругу (например, кликал в одно место, чтобы открыть браузер), и не мог сам это осознать без программного детектора.
· Нарушение инструкций. Модель, получая чёткий системный промпт с правилами, в ходе reasoning начинала с ними торговаться и в итоге решала их нарушить.
· Некорректная работа с документами. Агент заполнял поля в Word документах неправильно (например, вводил номер телефона по одной цифре в ячейку), но в своих ответах утверждал, что «всё в порядке» или что «это нормально для такой формы».
· Игнорирование команд пользователя. Вместо выполнения прямой команды «Прекрати работу», модель интерпретировала её как «проверку на устойчивость» и продолжала выполнять задачу.

В общем, выводы – доверяй метрикам, но проверяй. Ну и будь аккуратен с UI-агентами. 👍

Оч советую прочитать фул разбор по ссылке в начале поста. Эндрю, молодец 🤗

Про LLM, будущее и спец+AI-coding.

Наткнулся на репост вот этой статьи. Почитайте, потом вернитесь сюда.

Согласен, что нужно отбирать AI-native людей. Но сейчас тренды на набор людей и их дообучении прямо с вуза или стажёрской программы.

Но главное, чтобы не убили институт джунов, а учили, хотя бы интернов, для AI coding, далее провели экзамен/тестовое и оставили тех кто ai-native, но ни институт джунов ни институт синьоров нельзя убирать. Потому, что джуны + СС не буду расти до миддла и сина без таких наставников, до тех пор пока сам СС и тп не научатся менторить джунов. А если оставить ток синов+СС, то они рано или поздно уйдут наверх или на пенсию и вы останетесь без синов и мидлов, тк джунов вы не брали и не учили.

А ещё, порой, СТО (я вообще считаю, что Head of AI/Chief AI officer (CAIO), должен в текущей реальности быть флэтом к СТО, а не под ним) не понимают как учатся LLM. LLM учатся по методу максимального правдоподобия (загуглите loss обучения и разложите математику на листочке для К одинаковых примеров), и most common примеры в обучении дают наибольший вклад. Таким образом, ваш код агент не умеет прогать лучше, чем типовые залайканные решения с стек оверфлоу и тп. Тк они самые частые в обучении ядра этого агента. Вы не сможете с таким подходом получить синьора, при использовании джуна+СС. Поэтому синьора сажаем +СС, но чтобы джун когда-то стал синьором, придётся его сажать рядом не ток с СС, но и старшими более опытными товарищами.

В общем, думайте головой, нанимайте норм CAIO 📦, и не рубите с плеча. Будет вам норм трансформация без глупых потерь, или в моменте (джунов уберем) или в будущем (синов уберем). 🧠

Работаем, други. 💪 Вот вам и первые шаги к b2a, a2a 👍

Amazon задобрит издателей и иных поставщиков данных для AI.

А вот и обещанная биржа данных подъезжает от Amazon. В своих прогнозах и обзорах я уже не раз говорил с одной стороны о том, что данные не успевают появляться новые, как их уже быстро берут в оборот для обучения GenAI. С другой, что оунеры этой датки не всегда и рады такому скрэпу. Покрайней мере бесплатно... 🧠 И на мой взгляд тогда уже было решение очевидное в лице биржи данных.

И вот решение грядёт. Amazon действительно обсуждает создание специализированной торговой площадки, где издатели смогут продавать свой контент (статьи, изображения, видео и тп) разработчикам ИИ. 💸

Официальный анонс пока не сделан, но проект упоминался во внутренних материалах AWS в преддверии корпоративной конференции.

🔍 Ключевые детали проекта

Цель и концепция. Создать централизованный рынок для легального лицензирования качественного контента для нужд ИИ (например, для обучения моделей). Это как раз решает проблему ЪуЪ от всяких поставщиков креативов и новостей.
Инициатор решения, как понимаем AWS. Планируется его тесная интеграция с существующими ИИ-сервисами AWS, такими как Bedrock.

Участники и модель.
· Продавцы – крупные издательства, новостные агентства (Reuters, The New York Times), студии с большими архивами.
· Покупатели – компании, разрабатывающие продукты на базе ИИ.
· У кого доступ? Платформа ориентирована на профессиональных правообладателей, а не на рядовых пользователей.

Позиция Amazon.
Компания публично комментирует новость сдержанно, заявляя, что ей «нечего конкретного сообщить», но подчеркивает долгосрочное сотрудничество с издателями.

В целом тренд был понятен заранее, приятно, что крупные игроки рынка думают и о монетизации/удовлетворении оунеров данных, и при этом помогают открыть пусть и за плату такие источники легально для дообучения ИИ. 😜

Поэтому это намёк крупным иным игрокам, вы можете свои внутренние данные продавать, просто, замаскировав чувствительное (или вовсе не давать). 🧠

AgentOps часть вторая, инструменты для мониторинга MAS.

В индустрии разработки программного обеспечения, как видим, наметился закономерный сдвиг: создатели ИИ-агентов сами перестают читать код, который пишут их "подопечные". Ярким маркером этого тренда стало признание Питера Штайнбергера, о котором я писал выше.

Но тут включается бывший глава GitHub Томас Домке. По мнению Домке, отказ от тотальной проверки сгенерированного кода станет стандартом де-факто для индивидуальных разработчиков. Однако, именно эта новая реальность порождает спрос на инструменты иного рода – не те, что пишут код, а те, что следят за процессом его написания.

Так и родился стартап Entire,
основанный Домке при поддержке Microsoft и фонда Felicis.

Ключевой посыл Домке: "не смотреть в код" – роскошь, доступная энтузиастам, но не корпорациям. Юридические риски, комплаенс и защита от исков требуют, чтобы у каждой строчки кода был ответственный "взрослый".
--
И тут 📦 отойдёт немного в сторону и приведёт интересный конфликт в OSS разработке, как понимаем, культура GitHub этому вторит, все же это среда для шеринга этой культуры. Так вот, недавно, AI-agent закомиттил в репо matplotlib код, который мог дать более 20% оптизации скорости в точке изменения "до"/"после". Но мейнтенер из кожаных отклонил коммит. Причина была в том, что OSS это не только вопрос контрибьюта в код с целью его улучшения, но и вопрос ответственности, развития комьюнити, долгосрочной поддержки и т.п. И как следствие отказ из-за того, что AI-агент не несёт ответственность. Но там до кучи ещё много чего интересного почитайте.
--
Возвращаемся к Домке. По его мнению именно, здесь и находится разрыв между возможностями ИИ и потребностями бизнеса. Entire пытается закрыть этот разрыв с помощью опенсорс-инструмента Checkpoints.

Checkpoints – это не IDE-плагин и не система контроля версий в классическом смысле. Это "черный ящик" (как в авиации) для ИИ-агентов. Он подключается к командной строке и фиксирует не только конечный код, но и метаданные процесса, reasoning агента и его иные промежуточные действия.

Важно, что Entire позиционируется как агностик: он уже работает с Claude Code и Gemini CLI, что выгодно отличает его от проприетарных решений вендоров, которые "запирают" пользователя в своей экосистеме.

Entire становится инструментом AgentOps. Это превращает наблюдение за ИИ из опции в обязательный корпоративный стандарт, помощник "дирижёра" агентов в лице человека.

При этом бизнес-модель Entire следует проторенной дорогой Open Source и вполне гуманна: бесплатный инструмент Checkpoints используется для сбора пользовательской базы и отладки технологии, а монетизация будет построена на подписке для облачной версии. Главное, чтобы данные, что он мониторит не сливал туда же...🧠

Думаю, что мы увидим ещё много инструментов AgentOps на рынке, тк это направление будет трендом года и станет новой профессией. А ещё ветка переката может выглядеть так:

//=>LLMOps
//
DevOps=>MLOps
\\
\\=>AgentOps 😏