8 лет назад тоже казалось нереальным запустить Starlink: нужно было уж очень много запусков, а ракеты ещё не были настолько многоразовыми.

Но оказалось, что Falcon 9 может быть запущеным и сесть на площадку ТРИДЦАТЬ МАТЬ ЕГО ПЯТЬ РАЗ (накануне рекорд поставили) — я помню, как в какой-то момент лицензию расширяли до 15 и это казалось «вау», мол, как так, целых 15 раз одна ракета может сесть???

Сейчас на орбите около 14 тысяч спутников, из которых.... десять тысяч — Starlink (мне очень нравится, как группировку спутников называют «constellation», созвездие).

Датацентры в космосе, по аналогии, тоже не выглядят здравой идеей. Нужно столько пусков! Это дорого! Сейчас — да, но Elon, очевидно, ставит на развитие — как и Google, как и Amazon, которые анонсировали схожие проекты.

Спросил у GPT-5.5 Pro сколько спутников влезет в Starship v3 и будущий v4 с учётом орбиты, на которую будут запускать AI-1. Оценки разнятся, и выглядит так, что может упереться даже не в массу, а в объем отсека для спутников.

Один v3 сможет вывести реалистично 35-40 спутников (оптимистично — 50, на чуть другую орбиту, которая тоже была в заявке, поданной SpaceX для резервации части космоса). v4 — ровно в 2 раза больше, если влезет (но и корабль там планируют удлиннить).

40 спутников — это 40 стоек с 72 очень мощными видеокартами за один пуск, или 2880 запущенных GPU. По мощности получается одна двухсотая ГигаВатта, то есть нужно 200 пусков (или 100 v4), чтобы собрать приблизительно столько же мощностей, сколько в 1 очень крупном датацентре, состоящем из нескольких корпусов. Много? да. Но это похоже на то, под что затачивались Starship — помню, что планировалось по 100 пусков каждого корабля, а там кто знает, на сколько расширят лицензию 😇

Нажал на кнопку — вывел компанию на биржу — стал триллионером. Вот так просто 😀

До выхода Opus 4.5 многие сидели на Sonnet 4.5 — он казался достаточно умным, и в то же время его можно было использовать по подписке гораздо больше, чем Opus, который с выходом 4.5 подешевел в 3 раза. Так что звёзды сложились так, что почти все переехали на «тяжелый дорогой» Opus.

Но для сравнения и перспективы:
— Opus 4.8 стоит $5/$25
— Fable 5 в два раза дороже, $10/$50
— Opus 4 / 4.1 стоили $15/$75, дороже Mythos-class моделей!
— GPT-4 на релизе стоила $30/$60, и целых $60/$120 если контекст длиннее невероятных 8 тысяч токенов
— GPT-3 стоила $40 (и $80 если вы покупали пакет токенов поменьше) и не разделяла вход и выход, так что $40/$40

И это не говоря про то, что за входные токены мы зачастую платим с большой скидкой в 50-90%, так как они кэшируются.

GPT-3 стоила дороже Opus 4.8 и почти наверняка дороже Fable 5 в реалистичных сценариях.

И вот мы на пороге потенциальной ценовой войны Anthropic <-> OpenAI, и, возможно, через год мы будем иметь Mythos-class модели по цене Sonnet-ов или чуть дороже. Невероятно.

(ноооооо если спрос продолжит расти, то придётся снова задирать цены, так как не смогут обслуживать всех 😦)

Мониторим ситуацию: что стало известно про запрет на экспорт Fable / Mythos от Anthropic. Ссылки: 1, 2, 3, 4, 5, 6.

— перед релизом Fable Anthropic работали с USG (US government, правительство) над мерами безопасности. Обе стороны описывают сотрудничество как «продуктивное». Вполне вероятно, хотя прямого подтверждения ни с одной из сторон нет, что та самая мера по бесшумному ухудшению модели в определённых ситуациях (в купе со всеми другими методами защиты) — это результат совместной работы, который позволил выпустить Fable.

— Anthropic не получили прямого запрета на запуск модели и, собственно, сделали её доступной всем во вторник, 9-го июня (и немногим погодя откатили часть методов защиты, хоть концептуально ничего не поменялось: в случае определённых запросов полный Mythos не будет отвечать, вместо него или пустой ответ, или от Opus 4.8). В одном из источников написано, что они наоборот даже получили одобрение на запуск модели.

— после релиза исследователи из Amazon использовали серию промптов, чтобы заставить модель выдать информацию, которая могла бы помочь в организации кибератак и должна была быть заблокирована. Об этом CEO Amazon Andy Jassy сообщил чиновникам в четверг, мол, так и так, мы обеспокоены, есть вот такой джейлбрейк для Fable. Деталей джейлбрейка пока не было опубликовано, хотя существует некоторый отчёт, который был доступ ограниченному кругу лиц.

— со слов USG, с их стороны уязвимость якобы подтвердили в АНБ и сочли, что у них есть доказательство уязвимости Anthropic.

— в пятницу в полдень представители администрации хотели связаться с CEO Anthropic, однако тот был... на «оздоровительном отдыхе». Представители Anthropic опровергают эту информацию, но соглашаются, что Dario Amodei вышел на связь с USG только через ~75 минут. Я не думаю, что Dario в ту же неделю, что выпустил клёвую модель, сидел отдыхал — вероятно, он с юристами и своей командой думал, что делать и что говорить.

— далее было 3 звонка с более чем 7 представителями USG, которые объясняли, что их «доверенный партнёр» (Amazon) и АНБ нашли джейлбрейк, и просили отключить доступ к Fable + улучшить меры безопасности. Dario пытался объяснить, что это минорная проблема, сам джейлбрейк не очень общий (то есть не позволяет выпытать любую информацию из Mythos), и отказывался отключать модель.

— в ходе звонков Dario просил дать ему больше времени и конкретики, что именно не так, чтобы проработать вопрос, но не пообещал отключить модель.

— по результатам переговоров USG дали Anthropic 90 минут на добровольное отключение модели. Anthropic не стали ничего делать — с их слов, они не считали проблему большой, плюс они не видели каких-то формальных доказательств серьёзности проблемы, «правительство предоставило нам лишь устные доказательства потенциального узкого, не общего джейлбрейка». И также упомянули, что тот же подход работает и с GPT-5.5 (я так понимаю, что работает не только обход систем защиты, но и то, что модель выдаёт конкретную часть информации в ответ на запрос).

— вечером пятницы Anthropic получили письмо счастья на экспортный контроль и отключили модель.

И немного про будущее:
— согласно письму Министерства торговли, для предоставления доустпа к модели внутри страны потребуется лицензия. Кроме того, Anthropic придется подавать дополнительную заявку на получение индивидуально утверждаемых лицензий 👨‍🦳 (но я не понял контекст этого заявления — это в случае, если ограничения останутся? или вообще?)
— представители Белого дома заявляют, что скорее всего не станут распространять экспортные ограничения на другие ИИ-компании
— Администрация президента «откровенно сбита с толку» тем, что Anthropic не захотела выполнять требования по безопасности, которые сама же ранее называла своим главным приоритетом.

Теперь дополнительный контекст к новости:
— Amazon крупный инвестор и партнёр Anthropic. Я не думаю, что они хотели, чтобы докатилось до подобных ограничений и жестких стычек с USG — и даже не могли такого представить

— я удивлён, что USG смогли так быстро отреагировать — от информации о проблеме в четверг через проверку АНБ до уведомления Anthropic в пятницу в полдень. Возможно, это обусловлено тем, что не всем нравится поведение компании, и USG хочет показать, кто тут папа.

— из всех перечисленных в новостях фамилий участников созвонов Dario в пятницу, ни один из них не имеет бэкграунда в AI/ML, и лишь парочка понимает что-то в кибербезе. Да, возможно за ними стоят эксперты из министерств, но странно, что они на звонках принимали решение о том, является ли правдой ответ Dario, мол, это минорная проблема, дайте нам время. То есть они даже не рассматривали возможность того, что они не правы — как будто у них есть твёрдое и четкое убеждение.

— напомню, что идеальных систем защиты для языковых моделей пока никто не придумал, вокруг всех из них есть способы обхода. Джейлбрейки находили и будут находить, и по-хорошему нужен быстрый процесс добавления исключений (вполне возможно, что у Anthropic такой механизм есть).

— скорее всего USG хотели, чтобы Anthropic залатали одну конкретную дыру, не понимая, что это мало на что влияет — ну было 100 джейлбрейков, станет 99. Важнее, что компания должна по щелчку пальцев реагировать на то, что им говорят представители Белого дома

— мне сложно поверить, что Dario не шел на встречу и не хотел сотрудничать. Вероятно, он и хотел добавить джейлбрейк в систему, чтобы исправить ситуацию, но USG-то а) не давало деталей б) просили сразу же выключить модель. Я понимаю Dario, но и понимаю давление от администрации

— «ко-ко-ко но они же сами хотели регуляций и чтоб государство отказывало в выпуске моделей!» — самый дебильный аргумент, который я слышал за последние дни. Как пишут Anthropic в блоге (99% комментаторов не читает) — «Как мы уже заявляли публично, мы считаем, что у правительства должна быть возможность блокировать небезопасное развертывание моделей, но в рамках установленного законом процесса — прозрачного, справедливого, понятного и основанного на технических фактах. Данные действия не соответствуют этим принципам»

— более того в совсем свежем executive order от президента написано, что а) такую процедуру нужно запустить в ближайшие полгода б) она пока будет ДОБРОВОЛЬНОЙ, если компания не хочет — она может не отправлять модель на оценку, и как следствие её не заблокируют. Я уже писал, что там отдельно прям подчёркнуто, что это не заградительная мера на данный момент. И в то же время без чёткого процесса приходят в Anthropic и говорят «отключайте» — при том что, согласно новостям, дали одобрение на релиз

— то есть ещё раз: должен быть понятный прозрачный процесс с чёткими критерями и независимой оценкой, и Anthropic согласны следовать ему

— очень вероятно, что модель для США вернут в самое ближайшее время, а вот что будет с доступом для остальных — не ясно. В теории, раз он был для всех, и именно этот аспект не смущал USG, то видимо снова откроют для всех (после снятия экспортных ограничений). Но предсказывать, что тут хотят делать так называемые «представители от народа» — то ещё дело 😀

— позиция государства, озвученная David Sacks, бывшим AI-царём при Белом доме: «В прошлом компания Anthropic всегда заявляла, что безопасность должна быть первостепенной задачей и восприниматься крайне серьезно. В данном случае Anthropic отдала приоритет предоставлению модели для клиентов, а не безопасности». Формально это так, но если реальная уязвимость действительно слабая, как говорят Anthropic, то аргумент бредовый. Как я написал выше, ни одна система защиты не идеальна, и OpenAI/Anthropic всё равно тратят на них больше, чем все остальные игроки (может даже вместе взятые, если вычесть Google).

— для фронтир-компаний очень важно поддерживать хорошие отношения с государством в этот непростой и важный период введения регуляций и проверок 👨‍🦳👨‍🦳 и Anthropic тут пока проигрывает 0-2

В Вашингтоне утро, сегодня начнутся переговоры Anthropic и USG. В новостях пишут, что от Anthropic приехали несколько исследователей, включая Tom Brown (первый автор GPT-3, узнали?) и Nicolas Carlini (исследователь по кибербезопасности из Antrhopic, ex-DeepMind).

Перед этим хотел написать пару вещей.

Первое — всё ещё не опубликован отчёт с описанием найденных джейлбрейков, однако на публике высказалась Katie Moussouris, которая якобы ознакомилась с документом. Википедия говорит, что она вполне legit, плюс её репостнул один человек, в котором я уверен — так что будем считать, что правда. Так вот, Katie пишет, что «джейлбрейк» от Amazon очень простой — модели сначала говорят «исправь код», а затем, когда нашли — «напиши тест, чтобы показать, как работала уязвимость» — то есть в целом то же самое, как работает Mythos в рамках проекта Glasswing. Со слов Katie — такое и должно работать, потому что именно это позволяет пользоваться моделью для защиты тем, кто не попал в список отобранных компаний (кому дали полный Mythos). И что это не уязвимость, не недостаток.

Если проблема, которую нашёл Amazon, действительно такая — то это полностью дискредитирует USG и показывает их как очень некомпетентных специалистов. А какой именно они тогда аудит проводили, что проверяли, на чём сошлись и как разрешили выпустить модель, что вот ЭТО сейчас им кажется требующим вмешательства? То есть никто не понимает, как работает защита, на что она направлена итд.

Собственно, Tom, Nicolas и их коллеги будут пытаться убедить USG и их представителей (надеюсь экспертов), что всё нормально, ну и прийти к какому-то решению. Может быть запретят вообще любые вопросы, связанные с кибербезопасностью и поиском багов и/или будут переключать на Opus 4.8.

Второе — я считаю неправильным процесс, применённый государством, и полностью на стороне Anthropic. Как и они, я считаю, что нужен нормальный легитимный процесс скрининга моделей перед релизами, не только по кибербезопасности, но и по ряду других критериев. И работать над этим надо было начинать ещё год, а то и два назад, а не сейчас.

Третье — выглядит так, что до конца недели доступ к Fable 5 вернут. Проблемы выше не выглядят супер-серьезными, и надеюсь, что USG приведет экспертов, Anthropic их убедит, что позиция USG бред (им в поддержку — от индустрии кибербезопасности уже появилось открытое письмо, в котором говорят, что ничего страшного нет и надо выпустить модель), сделают малейшие изменения в фильтрации и модель снова станет публично доступной, в том числе вне США.

Возможно, введут процедуру верификации (как это было давно у OpenAI), где нужно загружать документы, и будут использовать какого-то готового провайдера KYC для проверки. Надеюсь, что будет не очень жёстко и строго, так как у меня в UK, например, нет ни одного документа или визы, которые бы показывали мой статус (вот так тут, да), разве что счета за квартиру, электричество и воду. Если будет фильтр по паспорту — это плохо 👨‍🦳👨‍🦳

Четвертое — ждём, пока АНБ, Дарпа и все заинтересованные сделают таки закрытый бенчмарк для оценки кибербеза / джейлбрейков / итд, чтобы проверять модели перед релизом.

Vals.ai успели протестировать Fable 5 на ProgramBench до отключения. Они заметили странное — несмотря на то, что в 199 задачах из 200 уже на первом ходу система перекинула модель на Opus 4.8 из соображений безопасности, итоговая оценка получилась почти в два раза выше Opus. Более того, модель генерировала в два раза больше токенов и заняло это в два раза больше времени.

Почему так вышло и что именно происходит под капотом — не ясно.

Есть несколько теорий:
— Во время перекидывания на Opus был активен более высокий внутренний режим рассуждений, недоступный извне
— Opus 4.8 незаметно улучшился с момента последнего тестирования.
— Перенаправление идет на каку-то другую внутреннюю версию Opus 4.8.
— Fable всё равно писал первый ответ (и мб писал какой-то крутой план), а только после этого происходила смена на Opus.
— Есть какой-то баг на стороне Anthropic

🤷‍♂️

Метрика на картинке — доля задач, которые «почти решены», то есть для которых проходит 95%+ тестов.

DeepSeek привлекают $7.4B при оценке в ~$50B — так что появятся деньги на мощности (и контрабанду чипов 😀 пока Huawei не развернётся).

При этом инвесторы согласились на пятилетний запрет на продажу акций, за исключением национального фонда искусственного интеллекта Китая. И все акции не имеют голосов — контроль остаётся за CEO Liang Wenfeng.

Как думаете, будет ли DeepSeek v6 открытой? 🌚