Две новости:

— Anthropic начали обсуждения следующего раунда инвестиций; никаких бумаг пока не подписано, но компания рассматривает возможность привлечения капитала при оценке в $900B. Это чуть больше, чем у OpenAI в начале месяца ($852B). Наверное, где-то через месяц-полтора раунд закроют и объявят официально. Очень интересно будет посмотреть, какие компании вложатся, и войдут ли инвесторы с Ближнего Востока и суверенных фондов.

— Anthropic хотели раскатать доступ к Mythos, своей самой мощной анонсированной но закрытой модели, на 120 организаций (с текущих ~50). Белый дом пока что запретил это делать, ссылаясь на важность технологии (вдруг попадет не в те руки) и переживания о том, что компании не хватит мощностей для поддержания спроса... самого государства. Да-да, вы прочитали правильно: несмотря на то, что Министерство обороны объявило компанию риском в цепочке поставок, государственные агентства всё равно пользуются моделью (правда не ясно, получилось ли так в ходе дополнительных переговоров, или всё в рамках 90-дневного срока, который выделили агентствам на переход с технологий Anthropic).

Я согласен с тезисом Вити Кантора, но считаю, что это само по себе плохо. Ни Андрею Карпатому, ни Дваркешу Пателю не нужно было писать кликбейты — они выезжают на супер качественном материале в топ-0.001% для своей целевой аудитории и не размениваются по мелочам.

К этим двум, которые сразу пришли в голову, в ряд скромно добавлю себя, так как считаю, что мой канал и media presence выросли тоже из-за качества, а не кликбейтности. Для тех, кто не следил и не интересовался — я никогда не покупал (и не продавал) рекламу, а количество взаимных упоминаний по договоренности с другими каналами, на все из которых я был подписан задолго до, можно пересчитать по пальцам если не одной, то двух рук. Поэтому весь рост сводится к контенту и реакции на него.

Из 8 постов на хабре/VC я заголовки и обложки только 2 могу немного отнести к категории кринжа (тут частично @RationalAnswer постарался, если бы я делал всё один, то было бы чуть иначе), хотя сравнивая с другими по палате и то кажется адекватным.

В моей картине мира кликбейт и кринж зачастую выступают как шорткат к большим цифрам, что является плохой самоцелью. Но увы, для многих именно это и есть цель.

Может быть я спросонья плохо думаю, но сходу не могу вспомнить действительно хороших интересных авторов видео/блогов/статей/итд из индустрии, которым приходилось привлекать внимание кринжом и кликбейтом [я не говорю про YouTube/TikTok]. Хотя скорее всего это является моим баесом, так как на кринжовых кликбейтеров я не обращаю внимание, и как следствие они в этот список и не попадут.

В чём я был неправ #2

Когда мы были в YC, в нашей маленькой группе был проект AquaVoice. Ребята делали voice-to-text для десктопа.

Я смотрел на это скептически. Нафига? Все сидят в офисах, коворках, кафешках. Диктовать вслух, когда рядом люди - стремно. Дома многие тоже не одни.

Короче, мне казалось, что целевая аудитория - гики, которые живут одни и говорят с компом.

Потом Wispr Flow поднял $80M, вырос в 100 раз за год и подписал 270 компаний из Fortune 500. 80% retention на шестой месяц. AquaVoice тоже залетел - топ-1 на Hacker News.

Потом я сам начал голосом работать… (может я гик?)

Я уже писал, что ошибался насчет кодинга с телефона (пост). Но вот штука: если ты работаешь с телефона, голосовой ввод становится не фичей, а необходимостью. Набирать много текста - боль.

Сейчас я голосовухами пишу код, копаюсь в продуктовой аналитике, работаю с почтой и линкедином.

Короче, был жестко не прав.

Объявляю конкурс на самую смешную подпись к этому шаблону мема. Тема — ИИ/Агенты/что-то, что реально можно было бы сказать своему голосовому ИИ-ассистенту.

Текст подписи должен начинаться с "Джарвис", "Кодекс" или "ГПТ". Менять картинку (особенно лицо) — можно, но чтобы шаблон узнавался.

Язык — русский или английский, результаты когда-нибудь на этой неделе, приз — посмеёмся все вместе.

Вчера вышел бенчмарк для кодинг-агентов ProgramBench от авторов SWE-Bench, на который мы будем смотреть ближайший год+.

Задача агента — воспроизвести код уже готовой программы, имея доступ к скомпилированному бинарному файлу и пользовательской документации. То есть агенту условно дают SQLite и говорят «вот сделай так же, те же интерфейсы, те же фичи». В первичном релизе — 200 программ из открытых репозиториев, от тех, про которые никто не слышал (<500 звезд на гитхабе) до того же SQLite, запущенного на каждом смартфоне.

Одна из самых интересных частей бенчмарка — это описание того, как его собирали и как проверяют выполнение задачи. Репозитории GitHub, подходящие под некоторые критерии, отдают LLM-агенту и промптят а) запустить инструкции по сборке (чтобы получить программу в точности соответствующую коду) б) сгенерировать возможные сценарии использования на основе кода + документации. Для этого агента запускают в цикле и не останавливают, пока процент покрытия кода тестами не будет высоким. Тесты также фильтруются (если их проходит и пустое приложение) и переписываются (например, если их не проходит сама оригинальная программа).

Получается авторазметка кодинг-агентами.

Мединный проект из этих 200 содержит 8700 строк кода в 50 файлах, 770 тестов, 2100 звезд и был впервые опубликован 8 лет назад.

Основная метрика — доля проектов, которые агент может воспроизвести так, что проходит 100% тестов. Дополнительная метрика — то же самое, но с порогом в 95% тестов.

У агента есть 6 часов, 1000 шагов и неограниченное количество запросов к скомпилированной программе.

У авторов получилось, что на данный момент все модели набирают 0% по основной метрике, а Opus 4.7 лидирует по дополнительной с результатом в 3%.

Один из интересных графиков в статье с анализом поведениям моделей авторами статей.

GPT думает гораздо больше перед тем, как начать писать какой-либо код.

(Однако это может быть артефактом и обосновано тем, что модель заканчивает раньше из-за плохой обёртки, поэтому процент по оси OX посчитан по гораздо меньшему количеству шагов)

МАСК — ВСЁ!

Anthropic объявили о том, что они удвоят 5-часовые лимиты на Pro Max Team и других тарифах.

Как? Они заключили партнёрство со SpaceX на предоставление ВСЕХ мощностей датацентра Colossus 1 — около 220,000 видеокарт NVIDIA, ~300MW.

Как вы понимаете, это означается, что Elon расписался в некомпетентности своей команды.

А новой модели от Anthropic сегодня, к сожалению, не будет :(

Как ProgramBench помогает понять, куда движется индустрия через год-полтора.

В комментариях под постом про бенчмарк получилось обсуждение, приведу пару цитат (spec / спек — спецификация продукта, описание, как и что он делает, в деталях):
— Eсли бы еще у продуктов из репозиториев на гитхабе были бы исчерпывающие спеки…
— Собственно кажется бинарники для того и присобачили чтобы был хоть какой-то истинный ответ, потому что никакая документация обычно таковой не является
— Где ты видел документацию хоть сколько-нибудь актуальную и исчерпывающую? Я вот по жизни обратных кейсов встречал до жопы.
— Даже если разработка основана на spec, надо очень постараться чтобы сама дока была консистентной и согласованной

Я согласен с этими тезисами, хорошей всеобъемлющей документации фичей ПО действительно почти всегда не бывает. Но это не означает, что так должно быть в будущем — если ИИ агенты продолжат развиваться и проникать во всё большее количество компаний/команд разработки, то это вполне может повлиять на то, как эта разработка ведётся. Инструмент новый и с потенциалом изменить подход в корне.

Уже сейчас есть программисты, которые перешли на spec driven development (см. философию OpenSpec) — они сначала описывают детально функциональность, которую хотят поручить разработать агенту, итерируются несколько раз, оформляют список «ДАНО — КОГДА — ПОТОМ — И...» и запускают имплементацию. То есть разработчик участвует в принятии решений по логике, продумывает валидируемые детали.

Я вижу огромный потенциал для масштабирования подхода ProgramBench с двух сторон:
— решение LLM-агентом задач и получение обратной связи на то, что и где сработало, что нет. Это будет прокачивать долгосрочное планирование и архитектуру у агентов, ведь нужно как-то вываливать десять тысяч строк кода и больше. Всё в контекст не влезет, модели нужно будет учиться использовать внешнюю память.

— автоматическое создание спецификаций, даже при отсутствии исходного кода и бинарника для запуска. Тысячи детальных авто-сгенерированных спек. LLM-агенты могут продумывать пользовательский путь, декомпозировать фичи, проводить анализ схожей функциональности у ближайших конкурентов или аналогов. Пока что это будет на костылях, нужно какой-то системный подход продумать, уверен, над этим в компаниях работают.

И если первое понятно как использовать при наличии спеки, то что по второму? А то же самое — если эта система обучается из какой-то обратной связи, то я вижу, как можно генерировать большую часть спек автоматически. Агент просто задаст несколько верхнеуровневых вопросов и сам уйдет декомпозировать.

И получается, что открывается целая новая область окружений для тренировки агентов (как это было с имплементацией PR с GitHub в последние пару лет). Пойдут ли туда компании? Мне понятно, почему это желанно с экономической точки зрения. Dario Amodei на недавнем подкасте у Dwarksh говорил, что через сколько то месяцев-лет они закроют цикл Software Engineering, и уточнил, что речь и про архитектуру/планирование, а не только написание кода. Для меня описанный выше сценарий масштабирования тренировки выглядит сонаправленным с этим — модель и будет учиться продуктово мыслить, прорабатывать сценарии и тесты для них, и имплементировать спеку.

Как после SWE-Bench оказалось, что модели теперь будут работать на уровне PR, так и тут может оказаться, что новый способ разработки будет «по часовому голосовому сообщению с описанием того что я хочу агенты пошли написали 100 страниц спек и начали их имплементировать. За выходные справились» — и спеки, как понятно, будут инструментом агентов, а не людей.

В предстоящем полете (оптимистично — на следующей неделе) нас ждёт всё новое:
— новый корабль версии v3
— новый ускоритель версии v3
— новая башня, вторая на космодроме в Техасе
— новый пусковой стол другого дизайна

Полет будет повторять тот же профиль, что и предыдущий, и корабль немного не долетит до орбиты. Обе части системы будут садиться на воду. Если корабль сядет очень хорошо — в следующем полете могут попытаться впервые посадить его на башню.