Data Secrets
90.5K subscribers
6.98K photos
782 videos
20 files
3.13K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Claude Fable во время обучения изобрел собственный язык

Системную карту этой модели можно читать вечно, ощущается немного как научная фантастика. Смотрите, что обнаружили ⬆️

Во время обучения с подкреплением на некоторых долгих rollout сессиях модель внезапно начинала использовать нечитаемый для человека внутренний стиль: странный жаргон, необычную пунктуацию, эмодзи и похожие шаблоны.

При этом непосредственно перед вызовом инструмента или ответом человеку она обычно переключалась обратно на более нормальный английский регистр.

Исследователи не обнаружили никаких признаков того, что модель делала это чтобы специально скрыть свой ризонинг. Скорее, это каким-то образом возникшая внутренняя оптимизация для сжатия рассуждений.

Тем не менее, это наталкивает на воспоминания о дискуссиях на тему так называемого Neuralese – внутреннего языка машин, который человек не сможет читать напрямую. Если модели перестанут рассуждать на естественном языке, то это, естественно, приведет к частичной потере наблюдаемости. И, исходя из находки Anthropic, такой сценарий уже не кажется чем-то сказочным.
Please open Telegram to view this post
VIEW IN TELEGRAM
131167😁38🫡16🔥1212🤯11👍4🤔2
Что мешает внедрению AI в бизнесе

Внедрение AI в бизнес-процессы упирается не только в модели и железо. Часто проблема в качестве, структуре и смысле данных. А еще — в знаниях сотрудников, которые не описаны в системах, но критичны для результата.

➡️ 25 июня HFLabs проведет митап о том, что на самом деле тормозит внедрение AI в больших компаниях.

О чем пойдет речь?
— какие данные нужны AI, чтобы он стал рабочим инструментом;
— почему без качественных данных нейросети не дают результата, которого ждет бизнес;
— как извлекать знания из сотрудников и превращать их в систему;
— как внутренние данные, контексты и жаргон ломают красивые демо.

Спикеры — те, кто такие проекты реализует:
Николай Трошнев, директор управления корпоративных данных, «Ситилинк»;
Федор Лежнев, директор департамента информационных технологий, «Альфа-Капитал»;
— и другие.

Митап пройдет без записи, в камерной атмосфере — так разговор честнее.

Кому будет полезно?
CDO, CIO, CTO, архитекторам данных, руководителям data- и AI-направлений и бизнесу, который хочет понять, что стоит за внедрением AI на практике.

📍25 июня, 19:00
Офис HFLabs, г. Москва, рядом с метро «Парк культуры»
Перед началом — фуршет, после — нетворкинг.

Митап бесплатный. Для участия зарегистрируйтесь и дождитесь подтверждения.
216😁12🗿8🔥6533👍2🤯2
AWS решили ультануть и выдали, что вайбкодинг замедляет команды

Больше кода, созданного с помощью ИИ, не делает вашу команду быстрее. На самом деле это может вас замедлить.

Настоящим узким местом никогда не было написание кода. Это релизы, дебаггинг и поддержка.


Они также заявили, что считают, что у каждого PR, написанного ИИ, должен быть ответственный владелец.

Если вы не хотите, чтобы под этим стояло ваше имя, то это некачественная работа.


🫧 🪡
1😁257💯132👍33🤯118🗿65🦄3🕊22
Data Secrets
Еще один очень занятный релиз от Google – диффузионная языковая модель Gemini Diffusion Кратко, в чем суть: вместо генерации токенов один за одним здесь они генерируются в произвольном порядке. То есть берется исходная последовательность текста, затем токены…
Google выпустили открытую диффузионную языковую модель DiffusionGemma

Год назад они релизили Gemini Diffusion, но тогда попробовать необычную модель можно было только по запросу. Сейчас же – совсем другое дело, копайтесь на здоровье кто угодно. Лицензия Apache 2.0.

Фишка модели в том, что вместо генерации токенов один за одним, как абсолютно во всех других LLM, здесь они генерируются в произвольном порядке целыми блоками. Модель начинает с шума и итеративно уточняет весь текст параллельно. Другими словами, расшумляет, как в диффузионных генераторах картинок: отсюда и название.

Во-первых, для многих доменов это теоретически более правильный подход. Например, написание кода – вещь нелинейная. А тут внутри двунаправленный механизм внимания, и кусочки последовательности можно генерировать в логическом порядке, а не просто слева направо. К тому же модель способна итеративно корректировать сама себя прямо во время генерации.

Во-вторых, за счет параллельной генерации модель обеспечивает существенное ускорение. Google пишут об x4 на стандартных видеокартах: моделька летит 1000+ токенов в секунду на одной NVIDIA H100.

По наполнению это MoE 26B c активными 3.8B, должна помещаться в 18GB VRAM с квантованием.

Блогпост
Веса
Гайд для разработчиков
112049🔥27👍81
AI-рисерчеры настолько зашеймили Anthropic за скрытые ограничения Fable, что стартап поменял политику менее чем за 48 часов после релиза

После выхода модели на ИИ-полях разгорелся настоящий скандал. Если помните, Anthropic прямо заявляли, что будут открыто переадресовывать запросы, связанные с химией/биологией/кибезбезом на Opus 4.8, сообщая об этом пользователю.

Тут никаких претензий. Но оказалось, что помимо прочего был еще "мелкий шрифт". В системной карте невзначай было написано, что запросы, которые засчитают за попытки дистилляции, будут обрабатываться путем прямого изменения и ухудшения ответов модели. Молча.

На практике же оказалось, что правило касается не только дистилляции, но и в целом почти любой ИИ-разработки. То есть дело обстояло так: инженеры не получали никаких сообщений о срабатывании guardrail, не могли понять, что им урезают возможности и просто получали подпорченные ответы.

Вскрылось все довольно быстро, и возмущению не было предела. Поведение стартапа назвали скрытым саботажем, и дошло до того, что Anthropic публично извинились и заявили, что меняют политику. Теперь, если запрос выглядит как "попытка разработки сильного ИИ", система будет явно сообщать об отказе или переводе запроса на более слабую модель.

Исходную политику Anthropic оправдали тем, что "пытались снизить риск того, что очень сильные возможности модели будут разнесены дальше и станут доступнее для злоумышленников" и сказали, что просто "выбрали неправильный трейд-офф".
1😁21734👍22🤨153🤔3🗿21🤝1
Как научиться понимать, что AI-продукт действительно стал лучше?

Когда новый промпт показывает хорошие результаты на нескольких примерах, или после смены модели ответы выглядят убедительнее, то это, конечно, хорошо.

Но настоящий специалист понимает, что это ровно ничего не значит. Эвалы не живут без метрик, тестовых наборов и системной оценки. Без всего этого невозможно сказать, улучшился продукт или вам просто кажется.

18 июня Школа Высшей Математики запускает 5-недельный курс по AI Evals. Его ведет Андрей Киселев, который недавно проводил вебинар про системную оценку качества AI-продуктов, который мы недавно рекомендовали.

На курсе как раз разберут полный цикл работы с оценкой AI-систем: выбор метрик, построение eval-пайплайнов, анализ ошибок, LLM-as-a-judge, работу без размеченных данных и тестирование сложных агентов, RAG-систем и многошаговых диалогов.

Знания будут максимально полезны AI/ML-инженерам, продактам и тимлидам, которые отвечают за качество AI-фич и хотят принимать решения на основе данных, а не субъективных впечатлений. В ближайшие годы это будет ключевой навык (и надежный способ выделяться на собеседованиях).

Старт 18 июня. Для подписчиков Data Secrets действует скидка 25% по промокоду DS25.

Подробности и регистрация -> здесь

Реклама. ООО "Школа Высшей Математики", ИНН 9728100991
🤯13😁109🗿8👍5🐳2🤨2👨‍💻2
Аналитики из SemiAnalysis посчитали, сколько действительно костов заложено в подписки на ИИ

Они взяли каждую из подписок OpenAI и Anthropic (за 20$, за 100 и за 200) и запускали на них долгие задачи так, чтобы тратить в каждой еженедельные лимиты.

Результаты поражают, конечно. OpenAI за 20 долларов выдает токенов примерно на 700, а в подписке за 200 долларов – на $14к.

Anthropic чуть менее щедрые, и все-таки тоже уходят в жесточайший минус: в подписку за 100 долларов у них заложено трат на $2к. Полная таблица наверху.

Конечно, не все юзеры используют подписку на полную катушку. Но смотрите второй скрин: все три подписки OpenAI становятся для них убыточными даже при менее 15% использования ресурсов подписки. Для Anthropic – при 20% загрузки.

Самые дорогие планы – самые убыточные. При загрузке в 50% подписка ChatGPT-pro-20x дает минус 775% маржи, а Claude-max-20x – минус 400% 👽

Аналитики приходят к неутешительному выводу: если картина действительно вот такая, присутствует большая вероятность, что стартапы вообще не будут включать в подписки новые модели и функции. Возможно, Mythos тоже в итоге останется только в API.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
511060🤯30🔥13😁6👍5💯3🏆2🤩1🗿1
OpenAI рассматривает серьезное снижение цен на API, чтобы отбить пользователей у Anthropic

По словам WSJ, решение пока не принято, но OpenAI думает о снижении цен заранее, потому что ожидает, что Anthropic может тоже пойти на демпинг. Речь не о подписках, а именно о ценах на токены, потому что сражаются стартапы в первую очередь за энтерпрайз.

Борьба за рынок перед IPO наращивает обороты. Нам такое на руку 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
1154👍54🔥27😁16💯55🍾4🫡32❤‍🔥1
Илон Маск стал первым в мире триллионером благодаря IPO SpaceX

IPO состоялось вчера. Цена за акцию составляла 135$, и компании удалось привлечь примерно $75 миллиардов.

Во-первых, это крупнейшее IPO в истории США. Спрос на акции был просто огромный.

Во-вторых, учитывая долю Маска в SpaceX, теперь его состояние оценивается в 1.1 триллион долларов. Чтобы потратить такое состояние за человеческую жизнь (если бы это была наличка, а не бумаги, ха), пришлось бы тратить примерно 13 миллиардов долларов в день.

Скромно.
1😎2125334🤯1613👍6🔥3😁3👌31🍓1
Fable – все 🤷‍♂️🤷‍♂️🤷‍♂️

Правительство США «из соображений национальной безопасности» буквально приказало Anthropic закрыть доступ к Mythos и Fable для всех иностранных граждан. Включая тех, кто находится в США. Включая даже иностранных сотрудников Anthropic.

Anthropic в этой ситуации поделать нечего. Они, конечно, принесли извинения, но доступ к моделям уже у всех отрубили.

Мы приносим извинения за это нарушение для наших клиентов. Мы считаем, что это недоразумение, и работаем над тем, чтобы восстановить доступ как можно скорее.


Без комментариев.

www.anthropic.com/news/fable-mythos-access
Please open Telegram to view this post
VIEW IN TELEGRAM
1🫡278🤯86😁42🗿4111🤔4👏3🏆2❤‍🔥1🤩1😎1
Forwarded from Futuris (Anton)
This media is not supported in your browser
VIEW IN TELEGRAM
Передайте Антропикам, есть решение 🍎
Please open Telegram to view this post
VIEW IN TELEGRAM
3😁623👍4828💯10👾44🍓3🫡21🔥1🗿1
Data Secrets
Fable – все 🤷‍♂️🤷‍♂️🤷‍♂️ Правительство США «из соображений национальной безопасности» буквально приказало Anthropic закрыть доступ к Mythos и Fable для всех иностранных граждан. Включая тех, кто находится в США. Включая даже иностранных сотрудников Anthropic.…
Мем: в числе прочих доступа к Mythos лишили Андрея Карпаты, который недавно ушел работать в Anthropic R&D

Дело в том, что он не гражданин США.

Лицо исследователя без доступа к объекту исследования представили?
1😁759🤯862713🫡12😍4🐳4💘4😎32🤩1
Пошел слух, что за блокировкой Fable стоит Amazon

По версии сразу нескольких изданий именно CEO Amazon Энди Джесси изначально спровоцировал шатдаун модели.

Все началось с обычного внутреннего исследования, в ходе которого рисерчеры Amazon обнаружили какой-то джейлбрейк, который позволял вытащить из Fable информацию, которая «могла бы оказаться полезной в кибератаках».

Исследователи сделали репорт, и Джесси понес его… нет, не в Anthropic, в который Amazon вложили более 8 миллиардов, а американским чиновникам. Ну и – пошло поехало.

Косвенным образом историю подтверждают слова Дэвида Сакса, председателя Совета консультантов президента США по науке и технологиям.

Он заявил, что некий «доверенный партнер» сообщил администрации о возможности опасного джейлбрейка, после чего правительство якобы попросило компанию устранить риск. По этой версии, Anthropic не согласились с тем, что кейс действительно демонстрирует опасность модели, ну а дальше вы знаете.
1189😁552811🤯8👍3🍾2🫡2🤔1💯1🗿1
OpenRouter выпустили API для запуска ансамблей моделей

По сути, это попытка превратить ручную сборку консенсуса моделей в готовый продукт из коробки, и весьма удачная. Работает так:

1. Вы отправляете один запрос в openrouter/fusion, и OpenRouter на своей стороне запускает панель из нескольких моделей, которые отвечают независимо друг от друга.

2. Затем еще одна модель-судья анализирует результаты и выдает на их основе финальный ответ.

3. Стек самих моделей по умолчанию выглядит как (~anthropic/claude-opus-latest, ~openai/gpt-latest, ~google/gemini-pro-latest), а судья – по дефолту первая из них, то есть claude-opus-latest. Также стек моделей и судью можно задать самостоятельно.

То есть, если выбирать модели по умолчанию, Fusion обычно стоит примерно в 4–5 раз дороже, чем один вызов модели. Есть смысл использовать только для очень сложных задач (буст в качестве действительно заметный, если что).

Но с другой стороны, благодаря возможности задать стек самому, это может быть и неплохой способ сэкономить. Например, OpenRouter пишут, что стек (Gemini 3 Flash, Kimi K2.6, and DeepSeek V4 Pro) превосходит соло запуски GPT-5.5 и Opus 4.8, и оказывается примерно в 1% от результатов Fable 5, а стоимость примерно вдвое ниже. Так что пробуем.

Еще из интересного: фича может работать как тул. То есть можно добавить {"type": "openrouter:fusion"} к вызову обычной модели, и она сможет сама как бы обратиться к совету других моделей, когда посчитает нужным.

Документация
4👍15146🔥31😁3🍾3❤‍🔥2🎄21🆒1
Anthropic тем временем отправили нескольких старших научных сотрудников в Вашингтон, чтобы оспорить решение об отключении Fable

Они попытаются «восстановить отношения с Белым Домом» и будут убеждать чиновников, что модель безопасна и контролируема.

Кстати, один из их аргументов в пользу несправедливости требования правительства звучит, дословно, так:

«Отчет, который лежит в основе решения правительства, демонстрирует уровень возможностей, широко доступный и в других моделях, в частности, в GPT-5.5»


Так что не удивляйтесь, если еще и GPT-5.5 отключат 🤡
Please open Telegram to view this post
VIEW IN TELEGRAM
😁3536839🤯6🔥4🏆2🤝2🍓11