AI-рисерчеры настолько зашеймили Anthropic за скрытые ограничения Fable, что стартап поменял политику менее чем за 48 часов после релиза

После выхода модели на ИИ-полях разгорелся настоящий скандал. Если помните, Anthropic прямо заявляли, что будут открыто переадресовывать запросы, связанные с химией/биологией/кибезбезом на Opus 4.8, сообщая об этом пользователю.

Тут никаких претензий. Но оказалось, что помимо прочего был еще "мелкий шрифт". В системной карте невзначай было написано, что запросы, которые засчитают за попытки дистилляции, будут обрабатываться путем прямого изменения и ухудшения ответов модели. Молча.

На практике же оказалось, что правило касается не только дистилляции, но и в целом почти любой ИИ-разработки. То есть дело обстояло так: инженеры не получали никаких сообщений о срабатывании guardrail, не могли понять, что им урезают возможности и просто получали подпорченные ответы.

Вскрылось все довольно быстро, и возмущению не было предела. Поведение стартапа назвали скрытым саботажем, и дошло до того, что Anthropic публично извинились и заявили, что меняют политику. Теперь, если запрос выглядит как "попытка разработки сильного ИИ", система будет явно сообщать об отказе или переводе запроса на более слабую модель.

Исходную политику Anthropic оправдали тем, что "пытались снизить риск того, что очень сильные возможности модели будут разнесены дальше и станут доступнее для злоумышленников" и сказали, что просто "выбрали неправильный трейд-офф".

Как научиться понимать, что AI-продукт действительно стал лучше?

Когда новый промпт показывает хорошие результаты на нескольких примерах, или после смены модели ответы выглядят убедительнее, то это, конечно, хорошо.

Но настоящий специалист понимает, что это ровно ничего не значит. Эвалы не живут без метрик, тестовых наборов и системной оценки. Без всего этого невозможно сказать, улучшился продукт или вам просто кажется.

18 июня Школа Высшей Математики запускает 5-недельный курс по AI Evals. Его ведет Андрей Киселев, который недавно проводил вебинар про системную оценку качества AI-продуктов, который мы недавно рекомендовали.

На курсе как раз разберут полный цикл работы с оценкой AI-систем: выбор метрик, построение eval-пайплайнов, анализ ошибок, LLM-as-a-judge, работу без размеченных данных и тестирование сложных агентов, RAG-систем и многошаговых диалогов.

Знания будут максимально полезны AI/ML-инженерам, продактам и тимлидам, которые отвечают за качество AI-фич и хотят принимать решения на основе данных, а не субъективных впечатлений. В ближайшие годы это будет ключевой навык (и надежный способ выделяться на собеседованиях).

Старт 18 июня. Для подписчиков Data Secrets действует скидка 25% по промокоду DS25.

Подробности и регистрация -> здесь

Реклама. ООО "Школа Высшей Математики", ИНН 9728100991

Илон Маск стал первым в мире триллионером благодаря IPO SpaceX

IPO состоялось вчера. Цена за акцию составляла 135$, и компании удалось привлечь примерно $75 миллиардов.

Во-первых, это крупнейшее IPO в истории США. Спрос на акции был просто огромный.

Во-вторых, учитывая долю Маска в SpaceX, теперь его состояние оценивается в 1.1 триллион долларов. Чтобы потратить такое состояние за человеческую жизнь (если бы это была наличка, а не бумаги, ха), пришлось бы тратить примерно 13 миллиардов долларов в день.

Скромно.

Мем: в числе прочих доступа к Mythos лишили Андрея Карпаты, который недавно ушел работать в Anthropic R&D

Дело в том, что он не гражданин США.

Лицо исследователя без доступа к объекту исследования представили?

Пошел слух, что за блокировкой Fable стоит Amazon

По версии сразу нескольких изданий именно CEO Amazon Энди Джесси изначально спровоцировал шатдаун модели.

Все началось с обычного внутреннего исследования, в ходе которого рисерчеры Amazon обнаружили какой-то джейлбрейк, который позволял вытащить из Fable информацию, которая «могла бы оказаться полезной в кибератаках».

Исследователи сделали репорт, и Джесси понес его… нет, не в Anthropic, в который Amazon вложили более 8 миллиардов, а американским чиновникам. Ну и – пошло поехало.

Косвенным образом историю подтверждают слова Дэвида Сакса, председателя Совета консультантов президента США по науке и технологиям.

Он заявил, что некий «доверенный партнер» сообщил администрации о возможности опасного джейлбрейка, после чего правительство якобы попросило компанию устранить риск. По этой версии, Anthropic не согласились с тем, что кейс действительно демонстрирует опасность модели, ну а дальше вы знаете.

OpenRouter выпустили API для запуска ансамблей моделей

По сути, это попытка превратить ручную сборку консенсуса моделей в готовый продукт из коробки, и весьма удачная. Работает так:

1. Вы отправляете один запрос в openrouter/fusion, и OpenRouter на своей стороне запускает панель из нескольких моделей, которые отвечают независимо друг от друга.

2. Затем еще одна модель-судья анализирует результаты и выдает на их основе финальный ответ.

3. Стек самих моделей по умолчанию выглядит как (~anthropic/claude-opus-latest, ~openai/gpt-latest, ~google/gemini-pro-latest), а судья – по дефолту первая из них, то есть claude-opus-latest. Также стек моделей и судью можно задать самостоятельно.

То есть, если выбирать модели по умолчанию, Fusion обычно стоит примерно в 4–5 раз дороже, чем один вызов модели. Есть смысл использовать только для очень сложных задач (буст в качестве действительно заметный, если что).

Но с другой стороны, благодаря возможности задать стек самому, это может быть и неплохой способ сэкономить. Например, OpenRouter пишут, что стек (Gemini 3 Flash, Kimi K2.6, and DeepSeek V4 Pro) превосходит соло запуски GPT-5.5 и Opus 4.8, и оказывается примерно в 1% от результатов Fable 5, а стоимость примерно вдвое ниже. Так что пробуем.

Еще из интересного: фича может работать как тул. То есть можно добавить {"type": "openrouter:fusion"} к вызову обычной модели, и она сможет сама как бы обратиться к совету других моделей, когда посчитает нужным.

Документация

DeepMind выпустили большое исследование о том, что ждет нас после AGI

Статья (кстати, под интересным названием «От AGI к ASI») получилась очень небанальной и, скорее, философской. Основная идея авторов в том, что AGI – никакой не предел мечтаний, как мы привыкли считать благодаря маркетингу, а только начало.

Что такое AGI? Это Artificial General Intelligence, ИИ уровня человека. Но человеческий интеллект, на деле, очень ограничен. Ян Лекун вообще говорит, что AGI как термин он считает вводящей в заблуждение идеей, потому что человеческий интеллект никакой не «общий», а во многом специализированный и сформированный эволюцией, и люди универсальны только в тех задачах, которые мы способны вообразить.

Google следуют примерно той же логике, и проводят аналогию с физической силой. Если бы прогресс машин остановился на уровне человеческой силы, подумайте, каким был бы мир. Тут то же самое: человеческий мозг ограничен биологией, а машинные знания, память и способности можно масштабировать и ускорять.

Поэтому, на самом деле, мы стремимся к ASI, а не AGI – Artificial Superintelligence. Это уже система, которая превосходит даже не одного человека, а целые организации.

Путей к ASI несколько. Либо масштабирование текущих систем, либо какой-то парадигмальный скачок, либо самоулучшение ИИ, либо, и это самое интересное, сверхинтеллект как коллектив.

Причем для последнего варианта даже не требуется никакого сверх-развития. Например, прогресс моделей остановился на уровне AGI. Но при этом мы все еще можем наращивать вычислительные ресурсы, и тогда через несколько лет вместо тысячи экземпляров AGI можно будет запускать миллионы или сотни миллионов экземпляров. Чем не ASI?

В общем, чтиво занятное. Футуристам и любителям научной фантастики ссылка на полный текст: https://arxiv.org/pdf/2606.12683.

На Anthropic подали в суд за занижение лимитов в подписках

Американец по имени Карл Кан подал иск, в котором обвинил Anthropic в непрозрачности и фактическом занижении лимитов в подписках.

Пользователь утверждает, что Anthropic обманывает юзеров: якобы, заявленные лимиты (особенно для премиум подписок Max 5x и Max 20x) далеки от реальных.

Например, по некоторым прикидкам, тариф Max 20x дает всего ~6× к лимитам от подписки Pro, вместо заявленных 20х.

Сейчас Карл планирует сделать иск коллективным и добивается включения всех пользователей, купивших эти тарифы с апреля 2025.

Проблема, к слову, действительно часто обсуждается в соцсетях. В частности, люди массово замечают снижение лимитов перед крупными релизами. Так что желающих присоединиться к иску может оказаться довольно много.

Ты – не ты, когда кончились лимиты.

Пока все обсуждают LLM, одна из самых интересных областей ИИ постепенно выходит в физический мир

И это, конечно же, роботы, умные устройства, промышленная автоматизация и интернет вещей. И все эти области требуют специалистов, которые понимают работу алгоритмов. Сейчас самое время заходить в эту область, и этот пост – про то, как это сделать.

Яндекс вместе с ФКН ВШЭ и ФПМИ МФТИ проводят набор на магистерскую программу «Аппаратная разработка умных устройств». Здесь учат создавать встроенные системы для реальных устройств. Студенты изучают разработку ПО для устройств, работу с ограниченными вычислительными ресурсами, интеграцию ML-моделей в реальные продукты и управление умной техникой, вплоть до микроконтроллеров.

Программу разрабатывали инженеры Яндекса вместе с преподавателями вузов, поэтому упор сделан именно на практические навыки, которые востребованы в индустрии уже сейчас.

С деталями программы знакомьтесь здесь.

SpaceX официально купили Cursor за 60 миллиардов долларов

Все произошло быстрее, чем ожидалось. Как вы знаете, в апреле SpaceX приобрела опцион, который давал ей право либо купить Cursor за 60 млрд долларов, либо выплатить 10 млрд долларов за совместную работу, если сделка не состоится.

С того момента Cursor уже выпустили мощное обновление, собственную неплохую модель и SDK.

Видимо, ожидания от них оправдались в полном объеме, потому что сегодня выяснилось, что компании уже подписали окончательное соглашение о поглощении. Cursor становится дочерней структурой SpaceX.

Это крупнейшее на данный момент приобретение SpaceX, кстати. Получается, у Маска на руках наконец-то появился конкурент Claude Code и Codex.