Нажал на кнопку — вывел компанию на биржу — стал триллионером. Вот так просто 😀

До выхода Opus 4.5 многие сидели на Sonnet 4.5 — он казался достаточно умным, и в то же время его можно было использовать по подписке гораздо больше, чем Opus, который с выходом 4.5 подешевел в 3 раза. Так что звёзды сложились так, что почти все переехали на «тяжелый дорогой» Opus.

Но для сравнения и перспективы:
— Opus 4.8 стоит $5/$25
— Fable 5 в два раза дороже, $10/$50
— Opus 4 / 4.1 стоили $15/$75, дороже Mythos-class моделей!
— GPT-4 на релизе стоила $30/$60, и целых $60/$120 если контекст длиннее невероятных 8 тысяч токенов
— GPT-3 стоила $40 (и $80 если вы покупали пакет токенов поменьше) и не разделяла вход и выход, так что $40/$40

И это не говоря про то, что за входные токены мы зачастую платим с большой скидкой в 50-90%, так как они кэшируются.

GPT-3 стоила дороже Opus 4.8 и почти наверняка дороже Fable 5 в реалистичных сценариях.

И вот мы на пороге потенциальной ценовой войны Anthropic <-> OpenAI, и, возможно, через год мы будем иметь Mythos-class модели по цене Sonnet-ов или чуть дороже. Невероятно.

(ноооооо если спрос продолжит расти, то придётся снова задирать цены, так как не смогут обслуживать всех 😦)

Мониторим ситуацию: что стало известно про запрет на экспорт Fable / Mythos от Anthropic. Ссылки: 1, 2, 3, 4, 5, 6.

— перед релизом Fable Anthropic работали с USG (US government, правительство) над мерами безопасности. Обе стороны описывают сотрудничество как «продуктивное». Вполне вероятно, хотя прямого подтверждения ни с одной из сторон нет, что та самая мера по бесшумному ухудшению модели в определённых ситуациях (в купе со всеми другими методами защиты) — это результат совместной работы, который позволил выпустить Fable.

— Anthropic не получили прямого запрета на запуск модели и, собственно, сделали её доступной всем во вторник, 9-го июня (и немногим погодя откатили часть методов защиты, хоть концептуально ничего не поменялось: в случае определённых запросов полный Mythos не будет отвечать, вместо него или пустой ответ, или от Opus 4.8). В одном из источников написано, что они наоборот даже получили одобрение на запуск модели.

— после релиза исследователи из Amazon использовали серию промптов, чтобы заставить модель выдать информацию, которая могла бы помочь в организации кибератак и должна была быть заблокирована. Об этом CEO Amazon Andy Jassy сообщил чиновникам в четверг, мол, так и так, мы обеспокоены, есть вот такой джейлбрейк для Fable. Деталей джейлбрейка пока не было опубликовано, хотя существует некоторый отчёт, который был доступ ограниченному кругу лиц.

— со слов USG, с их стороны уязвимость якобы подтвердили в АНБ и сочли, что у них есть доказательство уязвимости Anthropic.

— в пятницу в полдень представители администрации хотели связаться с CEO Anthropic, однако тот был... на «оздоровительном отдыхе». Представители Anthropic опровергают эту информацию, но соглашаются, что Dario Amodei вышел на связь с USG только через ~75 минут. Я не думаю, что Dario в ту же неделю, что выпустил клёвую модель, сидел отдыхал — вероятно, он с юристами и своей командой думал, что делать и что говорить.

— далее было 3 звонка с более чем 7 представителями USG, которые объясняли, что их «доверенный партнёр» (Amazon) и АНБ нашли джейлбрейк, и просили отключить доступ к Fable + улучшить меры безопасности. Dario пытался объяснить, что это минорная проблема, сам джейлбрейк не очень общий (то есть не позволяет выпытать любую информацию из Mythos), и отказывался отключать модель.

— в ходе звонков Dario просил дать ему больше времени и конкретики, что именно не так, чтобы проработать вопрос, но не пообещал отключить модель.

— по результатам переговоров USG дали Anthropic 90 минут на добровольное отключение модели. Anthropic не стали ничего делать — с их слов, они не считали проблему большой, плюс они не видели каких-то формальных доказательств серьёзности проблемы, «правительство предоставило нам лишь устные доказательства потенциального узкого, не общего джейлбрейка». И также упомянули, что тот же подход работает и с GPT-5.5 (я так понимаю, что работает не только обход систем защиты, но и то, что модель выдаёт конкретную часть информации в ответ на запрос).

— вечером пятницы Anthropic получили письмо счастья на экспортный контроль и отключили модель.

И немного про будущее:
— согласно письму Министерства торговли, для предоставления доустпа к модели внутри страны потребуется лицензия. Кроме того, Anthropic придется подавать дополнительную заявку на получение индивидуально утверждаемых лицензий 👨‍🦳 (но я не понял контекст этого заявления — это в случае, если ограничения останутся? или вообще?)
— представители Белого дома заявляют, что скорее всего не станут распространять экспортные ограничения на другие ИИ-компании
— Администрация президента «откровенно сбита с толку» тем, что Anthropic не захотела выполнять требования по безопасности, которые сама же ранее называла своим главным приоритетом.

Теперь дополнительный контекст к новости:
— Amazon крупный инвестор и партнёр Anthropic. Я не думаю, что они хотели, чтобы докатилось до подобных ограничений и жестких стычек с USG — и даже не могли такого представить

— я удивлён, что USG смогли так быстро отреагировать — от информации о проблеме в четверг через проверку АНБ до уведомления Anthropic в пятницу в полдень. Возможно, это обусловлено тем, что не всем нравится поведение компании, и USG хочет показать, кто тут папа.

— из всех перечисленных в новостях фамилий участников созвонов Dario в пятницу, ни один из них не имеет бэкграунда в AI/ML, и лишь парочка понимает что-то в кибербезе. Да, возможно за ними стоят эксперты из министерств, но странно, что они на звонках принимали решение о том, является ли правдой ответ Dario, мол, это минорная проблема, дайте нам время. То есть они даже не рассматривали возможность того, что они не правы — как будто у них есть твёрдое и четкое убеждение.

— напомню, что идеальных систем защиты для языковых моделей пока никто не придумал, вокруг всех из них есть способы обхода. Джейлбрейки находили и будут находить, и по-хорошему нужен быстрый процесс добавления исключений (вполне возможно, что у Anthropic такой механизм есть).

— скорее всего USG хотели, чтобы Anthropic залатали одну конкретную дыру, не понимая, что это мало на что влияет — ну было 100 джейлбрейков, станет 99. Важнее, что компания должна по щелчку пальцев реагировать на то, что им говорят представители Белого дома

— мне сложно поверить, что Dario не шел на встречу и не хотел сотрудничать. Вероятно, он и хотел добавить джейлбрейк в систему, чтобы исправить ситуацию, но USG-то а) не давало деталей б) просили сразу же выключить модель. Я понимаю Dario, но и понимаю давление от администрации

— «ко-ко-ко но они же сами хотели регуляций и чтоб государство отказывало в выпуске моделей!» — самый дебильный аргумент, который я слышал за последние дни. Как пишут Anthropic в блоге (99% комментаторов не читает) — «Как мы уже заявляли публично, мы считаем, что у правительства должна быть возможность блокировать небезопасное развертывание моделей, но в рамках установленного законом процесса — прозрачного, справедливого, понятного и основанного на технических фактах. Данные действия не соответствуют этим принципам»

— более того в совсем свежем executive order от президента написано, что а) такую процедуру нужно запустить в ближайшие полгода б) она пока будет ДОБРОВОЛЬНОЙ, если компания не хочет — она может не отправлять модель на оценку, и как следствие её не заблокируют. Я уже писал, что там отдельно прям подчёркнуто, что это не заградительная мера на данный момент. И в то же время без чёткого процесса приходят в Anthropic и говорят «отключайте» — при том что, согласно новостям, дали одобрение на релиз

— то есть ещё раз: должен быть понятный прозрачный процесс с чёткими критерями и независимой оценкой, и Anthropic согласны следовать ему

— очень вероятно, что модель для США вернут в самое ближайшее время, а вот что будет с доступом для остальных — не ясно. В теории, раз он был для всех, и именно этот аспект не смущал USG, то видимо снова откроют для всех (после снятия экспортных ограничений). Но предсказывать, что тут хотят делать так называемые «представители от народа» — то ещё дело 😀

— позиция государства, озвученная David Sacks, бывшим AI-царём при Белом доме: «В прошлом компания Anthropic всегда заявляла, что безопасность должна быть первостепенной задачей и восприниматься крайне серьезно. В данном случае Anthropic отдала приоритет предоставлению модели для клиентов, а не безопасности». Формально это так, но если реальная уязвимость действительно слабая, как говорят Anthropic, то аргумент бредовый. Как я написал выше, ни одна система защиты не идеальна, и OpenAI/Anthropic всё равно тратят на них больше, чем все остальные игроки (может даже вместе взятые, если вычесть Google).

— для фронтир-компаний очень важно поддерживать хорошие отношения с государством в этот непростой и важный период введения регуляций и проверок 👨‍🦳👨‍🦳 и Anthropic тут пока проигрывает 0-2

В Вашингтоне утро, сегодня начнутся переговоры Anthropic и USG. В новостях пишут, что от Anthropic приехали несколько исследователей, включая Tom Brown (первый автор GPT-3, узнали?) и Nicolas Carlini (исследователь по кибербезопасности из Antrhopic, ex-DeepMind).

Перед этим хотел написать пару вещей.

Первое — всё ещё не опубликован отчёт с описанием найденных джейлбрейков, однако на публике высказалась Katie Moussouris, которая якобы ознакомилась с документом. Википедия говорит, что она вполне legit, плюс её репостнул один человек, в котором я уверен — так что будем считать, что правда. Так вот, Katie пишет, что «джейлбрейк» от Amazon очень простой — модели сначала говорят «исправь код», а затем, когда нашли — «напиши тест, чтобы показать, как работала уязвимость» — то есть в целом то же самое, как работает Mythos в рамках проекта Glasswing. Со слов Katie — такое и должно работать, потому что именно это позволяет пользоваться моделью для защиты тем, кто не попал в список отобранных компаний (кому дали полный Mythos). И что это не уязвимость, не недостаток.

Если проблема, которую нашёл Amazon, действительно такая — то это полностью дискредитирует USG и показывает их как очень некомпетентных специалистов. А какой именно они тогда аудит проводили, что проверяли, на чём сошлись и как разрешили выпустить модель, что вот ЭТО сейчас им кажется требующим вмешательства? То есть никто не понимает, как работает защита, на что она направлена итд.

Собственно, Tom, Nicolas и их коллеги будут пытаться убедить USG и их представителей (надеюсь экспертов), что всё нормально, ну и прийти к какому-то решению. Может быть запретят вообще любые вопросы, связанные с кибербезопасностью и поиском багов и/или будут переключать на Opus 4.8.

Второе — я считаю неправильным процесс, применённый государством, и полностью на стороне Anthropic. Как и они, я считаю, что нужен нормальный легитимный процесс скрининга моделей перед релизами, не только по кибербезопасности, но и по ряду других критериев. И работать над этим надо было начинать ещё год, а то и два назад, а не сейчас.

Третье — выглядит так, что до конца недели доступ к Fable 5 вернут. Проблемы выше не выглядят супер-серьезными, и надеюсь, что USG приведет экспертов, Anthropic их убедит, что позиция USG бред (им в поддержку — от индустрии кибербезопасности уже появилось открытое письмо, в котором говорят, что ничего страшного нет и надо выпустить модель), сделают малейшие изменения в фильтрации и модель снова станет публично доступной, в том числе вне США.

Возможно, введут процедуру верификации (как это было давно у OpenAI), где нужно загружать документы, и будут использовать какого-то готового провайдера KYC для проверки. Надеюсь, что будет не очень жёстко и строго, так как у меня в UK, например, нет ни одного документа или визы, которые бы показывали мой статус (вот так тут, да), разве что счета за квартиру, электричество и воду. Если будет фильтр по паспорту — это плохо 👨‍🦳👨‍🦳

Четвертое — ждём, пока АНБ, Дарпа и все заинтересованные сделают таки закрытый бенчмарк для оценки кибербеза / джейлбрейков / итд, чтобы проверять модели перед релизом.

Vals.ai успели протестировать Fable 5 на ProgramBench до отключения. Они заметили странное — несмотря на то, что в 199 задачах из 200 уже на первом ходу система перекинула модель на Opus 4.8 из соображений безопасности, итоговая оценка получилась почти в два раза выше Opus. Более того, модель генерировала в два раза больше токенов и заняло это в два раза больше времени.

Почему так вышло и что именно происходит под капотом — не ясно.

Есть несколько теорий:
— Во время перекидывания на Opus был активен более высокий внутренний режим рассуждений, недоступный извне
— Opus 4.8 незаметно улучшился с момента последнего тестирования.
— Перенаправление идет на каку-то другую внутреннюю версию Opus 4.8.
— Fable всё равно писал первый ответ (и мб писал какой-то крутой план), а только после этого происходила смена на Opus.
— Есть какой-то баг на стороне Anthropic

🤷‍♂️

Метрика на картинке — доля задач, которые «почти решены», то есть для которых проходит 95%+ тестов.

DeepSeek привлекают $7.4B при оценке в ~$50B — так что появятся деньги на мощности (и контрабанду чипов 😀 пока Huawei не развернётся).

При этом инвесторы согласились на пятилетний запрет на продажу акций, за исключением национального фонда искусственного интеллекта Китая. И все акции не имеют голосов — контроль остаётся за CEO Liang Wenfeng.

Как думаете, будет ли DeepSeek v6 открытой? 🌚