Как научиться понимать, что AI-продукт действительно стал лучше?

Когда новый промпт показывает хорошие результаты на нескольких примерах, или после смены модели ответы выглядят убедительнее, то это, конечно, хорошо.

Но настоящий специалист понимает, что это ровно ничего не значит. Эвалы не живут без метрик, тестовых наборов и системной оценки. Без всего этого невозможно сказать, улучшился продукт или вам просто кажется.

18 июня Школа Высшей Математики запускает 5-недельный курс по AI Evals. Его ведет Андрей Киселев, который недавно проводил вебинар про системную оценку качества AI-продуктов, который мы недавно рекомендовали.

На курсе как раз разберут полный цикл работы с оценкой AI-систем: выбор метрик, построение eval-пайплайнов, анализ ошибок, LLM-as-a-judge, работу без размеченных данных и тестирование сложных агентов, RAG-систем и многошаговых диалогов.

Знания будут максимально полезны AI/ML-инженерам, продактам и тимлидам, которые отвечают за качество AI-фич и хотят принимать решения на основе данных, а не субъективных впечатлений. В ближайшие годы это будет ключевой навык (и надежный способ выделяться на собеседованиях).

Старт 18 июня. Для подписчиков Data Secrets действует скидка 25% по промокоду DS25.

Подробности и регистрация -> здесь

Реклама. ООО "Школа Высшей Математики", ИНН 9728100991

Илон Маск стал первым в мире триллионером благодаря IPO SpaceX

IPO состоялось вчера. Цена за акцию составляла 135$, и компании удалось привлечь примерно $75 миллиардов.

Во-первых, это крупнейшее IPO в истории США. Спрос на акции был просто огромный.

Во-вторых, учитывая долю Маска в SpaceX, теперь его состояние оценивается в 1.1 триллион долларов. Чтобы потратить такое состояние за человеческую жизнь (если бы это была наличка, а не бумаги, ха), пришлось бы тратить примерно 13 миллиардов долларов в день.

Скромно.

Мем: в числе прочих доступа к Mythos лишили Андрея Карпаты, который недавно ушел работать в Anthropic R&D

Дело в том, что он не гражданин США.

Лицо исследователя без доступа к объекту исследования представили?

Пошел слух, что за блокировкой Fable стоит Amazon

По версии сразу нескольких изданий именно CEO Amazon Энди Джесси изначально спровоцировал шатдаун модели.

Все началось с обычного внутреннего исследования, в ходе которого рисерчеры Amazon обнаружили какой-то джейлбрейк, который позволял вытащить из Fable информацию, которая «могла бы оказаться полезной в кибератаках».

Исследователи сделали репорт, и Джесси понес его… нет, не в Anthropic, в который Amazon вложили более 8 миллиардов, а американским чиновникам. Ну и – пошло поехало.

Косвенным образом историю подтверждают слова Дэвида Сакса, председателя Совета консультантов президента США по науке и технологиям.

Он заявил, что некий «доверенный партнер» сообщил администрации о возможности опасного джейлбрейка, после чего правительство якобы попросило компанию устранить риск. По этой версии, Anthropic не согласились с тем, что кейс действительно демонстрирует опасность модели, ну а дальше вы знаете.

OpenRouter выпустили API для запуска ансамблей моделей

По сути, это попытка превратить ручную сборку консенсуса моделей в готовый продукт из коробки, и весьма удачная. Работает так:

1. Вы отправляете один запрос в openrouter/fusion, и OpenRouter на своей стороне запускает панель из нескольких моделей, которые отвечают независимо друг от друга.

2. Затем еще одна модель-судья анализирует результаты и выдает на их основе финальный ответ.

3. Стек самих моделей по умолчанию выглядит как (~anthropic/claude-opus-latest, ~openai/gpt-latest, ~google/gemini-pro-latest), а судья – по дефолту первая из них, то есть claude-opus-latest. Также стек моделей и судью можно задать самостоятельно.

То есть, если выбирать модели по умолчанию, Fusion обычно стоит примерно в 4–5 раз дороже, чем один вызов модели. Есть смысл использовать только для очень сложных задач (буст в качестве действительно заметный, если что).

Но с другой стороны, благодаря возможности задать стек самому, это может быть и неплохой способ сэкономить. Например, OpenRouter пишут, что стек (Gemini 3 Flash, Kimi K2.6, and DeepSeek V4 Pro) превосходит соло запуски GPT-5.5 и Opus 4.8, и оказывается примерно в 1% от результатов Fable 5, а стоимость примерно вдвое ниже. Так что пробуем.

Еще из интересного: фича может работать как тул. То есть можно добавить {"type": "openrouter:fusion"} к вызову обычной модели, и она сможет сама как бы обратиться к совету других моделей, когда посчитает нужным.

Документация

DeepMind выпустили большое исследование о том, что ждет нас после AGI

Статья (кстати, под интересным названием «От AGI к ASI») получилась очень небанальной и, скорее, философской. Основная идея авторов в том, что AGI – никакой не предел мечтаний, как мы привыкли считать благодаря маркетингу, а только начало.

Что такое AGI? Это Artificial General Intelligence, ИИ уровня человека. Но человеческий интеллект, на деле, очень ограничен. Ян Лекун вообще говорит, что AGI как термин он считает вводящей в заблуждение идеей, потому что человеческий интеллект никакой не «общий», а во многом специализированный и сформированный эволюцией, и люди универсальны только в тех задачах, которые мы способны вообразить.

Google следуют примерно той же логике, и проводят аналогию с физической силой. Если бы прогресс машин остановился на уровне человеческой силы, подумайте, каким был бы мир. Тут то же самое: человеческий мозг ограничен биологией, а машинные знания, память и способности можно масштабировать и ускорять.

Поэтому, на самом деле, мы стремимся к ASI, а не AGI – Artificial Superintelligence. Это уже система, которая превосходит даже не одного человека, а целые организации.

Путей к ASI несколько. Либо масштабирование текущих систем, либо какой-то парадигмальный скачок, либо самоулучшение ИИ, либо, и это самое интересное, сверхинтеллект как коллектив.

Причем для последнего варианта даже не требуется никакого сверх-развития. Например, прогресс моделей остановился на уровне AGI. Но при этом мы все еще можем наращивать вычислительные ресурсы, и тогда через несколько лет вместо тысячи экземпляров AGI можно будет запускать миллионы или сотни миллионов экземпляров. Чем не ASI?

В общем, чтиво занятное. Футуристам и любителям научной фантастики ссылка на полный текст: https://arxiv.org/pdf/2606.12683.

На Anthropic подали в суд за занижение лимитов в подписках

Американец по имени Карл Кан подал иск, в котором обвинил Anthropic в непрозрачности и фактическом занижении лимитов в подписках.

Пользователь утверждает, что Anthropic обманывает юзеров: якобы, заявленные лимиты (особенно для премиум подписок Max 5x и Max 20x) далеки от реальных.

Например, по некоторым прикидкам, тариф Max 20x дает всего ~6× к лимитам от подписки Pro, вместо заявленных 20х.

Сейчас Карл планирует сделать иск коллективным и добивается включения всех пользователей, купивших эти тарифы с апреля 2025.

Проблема, к слову, действительно часто обсуждается в соцсетях. В частности, люди массово замечают снижение лимитов перед крупными релизами. Так что желающих присоединиться к иску может оказаться довольно много.

Ты – не ты, когда кончились лимиты.

Пока все обсуждают LLM, одна из самых интересных областей ИИ постепенно выходит в физический мир

И это, конечно же, роботы, умные устройства, промышленная автоматизация и интернет вещей. И все эти области требуют специалистов, которые понимают работу алгоритмов. Сейчас самое время заходить в эту область, и этот пост – про то, как это сделать.

Яндекс вместе с ФКН ВШЭ и ФПМИ МФТИ проводят набор на магистерскую программу «Аппаратная разработка умных устройств». Здесь учат создавать встроенные системы для реальных устройств. Студенты изучают разработку ПО для устройств, работу с ограниченными вычислительными ресурсами, интеграцию ML-моделей в реальные продукты и управление умной техникой, вплоть до микроконтроллеров.

Программу разрабатывали инженеры Яндекса вместе с преподавателями вузов, поэтому упор сделан именно на практические навыки, которые востребованы в индустрии уже сейчас.

С деталями программы знакомьтесь здесь.

SpaceX официально купили Cursor за 60 миллиардов долларов

Все произошло быстрее, чем ожидалось. Как вы знаете, в апреле SpaceX приобрела опцион, который давал ей право либо купить Cursor за 60 млрд долларов, либо выплатить 10 млрд долларов за совместную работу, если сделка не состоится.

С того момента Cursor уже выпустили мощное обновление, собственную неплохую модель и SDK.

Видимо, ожидания от них оправдались в полном объеме, потому что сегодня выяснилось, что компании уже подписали окончательное соглашение о поглощении. Cursor становится дочерней структурой SpaceX.

Это крупнейшее на данный момент приобретение SpaceX, кстати. Получается, у Маска на руках наконец-то появился конкурент Claude Code и Codex.

🧑‍🎓Онлайн-магистратура — вариант для тех, кто хочет получить высшее образование, но не готов ставить жизнь на паузу.

УрФУ и Нетология предлагают три технологические программы, которые можно проходить онлайн и совмещать с работой:
1) Прикладной искусственный интеллект — чтобы научиться применять ИИ и нейросети для задач бизнеса.
2) Инженерия машинного обучения — чтобы разбираться в полном цикле работы с моделями: от данных до внедрения.
3) Программная инженерия цифровых решений — чтобы развиваться в бэкенде, архитектуре и создании цифровых сервисов.

На программах вас ждут прикладные задачи, проекты для портфолио, поддержка кураторов и экспертов. После выпуска — диплом магистра УрФУ и дополнительный диплом Нетологии.

На все программы действует образовательный кредит с господдержкой под 3%, а также акция: при оформлении кредита платежи за первый семестр возьмёт на себя Нетология.

Посмотреть программы

Реклама. ООО “Нетология” ОГРН 1207700135884 Erid:2VSb5w4tUrv