Anthropic выпустили пост-обновление про Mythos и Project Glasswing с промежуточными результатами.

Спустя месяц большинство партнеров обнаружили в своем коде сотни уязвимостей критического и высокого уровня опасности каждый. В общей сложности они выявили десятки тысяч уязвимостей. Некоторые из партнёров сообщили, что скорость обнаружения багов выросла более чем в десять раз. Например, компания Cloudflare нашла 2000 уязвимостей (400 из которых имеют высокий или критический уровень опасности) в своих критически важных системах, при этом доля ложных срабатываний, по мнению команды Cloudflare, оказалась ниже, чем у тестировщиков-людей.

Я видел много комментариев про то, что, мол, Mythos да может что-то находит, но наверняка выдаёт и много мусора, где уязвимостей нет — так вот это не так. Помимо закрытых проектов, Anthropic натравили Mythos и на опенсурс для сканирования более 1000 крупных репозиториев, на которых во многом держится современный интернет. На данный момент, по оценкам Anthropic, в этих проектах найдено 6202 уязвимости высокого или критического уровня (из 23 тысяч в общей сложности, включая те, которые относятся к среднему или низкому уровню опасности).

На данный момент лишь 1752 из этих уязвимостей с высоким и критическим уровнем прошли тщательную проверку силами одной из шести независимых исследовательских компаний в сфере кибербезопасности. Из них 90% оказались подтвержденными, а 62% (1100 штук) были классифицированы именно как уязвимости высокого или критического уровня.

Некоторые из уязвимостей носили очень серьёзный уровень угрозы, если бы они были обнаружены злоумышленниками. Как пример, Mythos смо написать эксплойт, который позволил бы злоумышленнику подделывать сертификаты через библиотеку wolfSSL. Это, к примеру, дало бы ему возможность разместить фальшивый сайт банка или почтового провайдера, и для конечного пользователя такой сайт выглядел бы абсолютно легитимным, браузер не показал бы никаких уведомлений.

Обнаруженные уязвимости льются как из рога изобилия, их не успевают исправлять, не хватает людей. Некоторые команды/проекты даже просили снизить темпы раскрытия информации об уязвимостях, поскольку им требуется больше времени на создание патчей. (В среднем, на устранение бага высокого или критического уровня, найденного с помощью Mythos Preview, уходит две недели).

В настоящее время ни одна компания — включая Anthropic — не разработала достаточно надежных механизмов защиты, способных предотвратить использование подобных ИИ-моделей во зло и для причинения потенциально серьезного ущерба. Именно поэтому к модели не дают доступ широкой аудитории. Но по этой же причине и был запущен Project Glasswing: если модель с аналогичными возможностями будет выпущена кем-то без соответствующих мер, то в скором времени для любого человека в мире станет значительно дешевле и проще эксплуатировать уязвимый код.

Ну вот и состоялась презентация весьма объемной папской энциклики. Папа призвал к разоружению ИИ (в смысле недопущения принятия им необратимых или летальных решений) и вообще к его регулированию с целью увеличения общего блага, а не чьих-то прибылей. В присутствии представителя Anthropic интересно прозвучали слова "A more moral AI is not enough if that morality is determined by a few." Впрочем, представитель Anthropic повторил не раз высказывавшуюся руководством компании идею, что развитие ИИ нельзя доверять только бигтехам.
Интересно, последует ли какой-нибудь ответ от представителей других религий; все-таки развитие ИИ определяется не только странами с большим католическим влиянием:)
https://www.dailysabah.com/business/tech/pope-calls-for-disarming-of-ai-robust-regulation-in-major-manifesto/amp

Новый опус: https://www.anthropic.com/news/claude-opus-4-8

1) цена та же
2) сделали гранулярную разбивку длины рассуждений, как у ChatGPT
3) fast режим, ускоряющий генерацию в 2.5 раза, теперь в 3 раза дешевле, чем для предыдущих моделей. Получается было в 6 раз дороже, сейчас в 2 — надо брать.
4) «Одним из наиболее заметных улучшений в Opus 4.8 является его честность» — модель будет врать поменьше (наверное)
5) «Мы планируем выпустить новый класс моделей с ещё более высоким уровнем интеллекта, чем у Opus» — ждём «в ближайшие недели»

🧵 Попробовал dynamic workflows в Claude Code.

Вчера, Anthropic выпустил режим, в котором Claude сам разбивает большую задачу на подзадачи, запускает parallel subagents, проверяет результаты и собирает финальный ответ. В announcement они приводят примеры вроде bug hunt по всей кодовой базе, большие миграции и тп.

Мое первое ощущение: /Workflows одна из первых «agent swarm» фичей, которая выглядит как реальный рабочий инструмент.

Ты даешь задачу - Claude уходит на 30–50 минут, пишет код, правит ошибки, проверяет себя и продолжает.

На мой взгляд, самая вишенка не в том что много параллельных агентов жрут токены, а в цикле generator → validator. Одна часть системы делает изменения: код, refactor, tests. Другая пытается это проверить: смотрит diff, ищет ошибки, думает про edge cases.

Это немного похоже на GAN, только для engineering workflow. Сгенерировал → проверил → нашел проблему → исправил.

Тесты пока не всегда понятно насколько хорошие, но свои ошибки оно уже реально ловит.

Чего мне не хватает - прозрачного этапа планирования. Сейчас ощущение такое: «вот задача, иди делай».

А идеальный flow был бы:
1) сначала Claude предлагает план;
2) ты его правишь;
3) добавляешь constraints, success criteria, важные файлы и проверки;
4) и только потом запускаешь workflow.

Мой вывод: направление очень сильное!

Блог-пост

Поделитесь с коллегами, если тоже следите за тем, как coding agents становятся рабочим процессом.