https://www.anthropic.com/news/fable-mythos-access
А помните, PGP тоже когда-то была забанена экспортным контролем.
А помните, PGP тоже когда-то была забанена экспортным контролем.
Anthropic
Statement on the US government directive to suspend access to Fable 5 and Mythos 5
The US government has issued an export control directive to suspend all access to Fable 5 and Mythos 5 by any foreign national, whether inside or outside the United States.
❤11😁5👍3
С массовым пришествием современных калькуляторов LLM и агентов всё больше стимулов передать работу по пониманию сложных статей этим моделям и агентам, получать выжимки и саммари абстрактов, "понимать" про что это и двигаться дальше. Но здесь есть ловушка. Понимание не аутсорсится. Вернее аутсорсится, но это дорога в один конец. Потому что понимание -- это то, на чём строится следующее понимание; отдав его, ты теряешь не одну статью, а способность достраивать.
Развитие абстракций -- наша суть, не бросайте этот путь. Оставляйте себе время на понимание. Особенно базовых вещей. Не воспринимайте слова из области просто как ярлыки для чёрных ящиков. Не прочувствовали как работает трансформер -- потратьте время и разберитесь, есть много отличных материалов. SGD, RoPE, Adam -- аналогично.
Сейчас неделя Muon'а, разберитесь как работает Muon -- интуиция за ним реально простая и сам оригинальный пост описывает всё хорошо. Не буду скрывать, во внутренности мюона я сам нормально залез только на этой неделе, до этого он для меня выступал примерно как ещё один ярлык для полезной функции, которой все пользуются, и неважно как именно она внутри работает. Но понимать -- сильно лучше, чем не понимать.
Сделайте подход к линейной алгебре, если ещё не. Я не знаю другой области более базисной для текущей итерации ML/AI, любая инвестиция сюда быстро начнёт отбиваться, чем глубже, тем серьёзней.
Модель прочитает статью за тебя. Но понимать за тебя она не будет -- это единственное, что нельзя делегировать, не потеряв сам навык.
Развитие абстракций -- наша суть, не бросайте этот путь. Оставляйте себе время на понимание. Особенно базовых вещей. Не воспринимайте слова из области просто как ярлыки для чёрных ящиков. Не прочувствовали как работает трансформер -- потратьте время и разберитесь, есть много отличных материалов. SGD, RoPE, Adam -- аналогично.
Сейчас неделя Muon'а, разберитесь как работает Muon -- интуиция за ним реально простая и сам оригинальный пост описывает всё хорошо. Не буду скрывать, во внутренности мюона я сам нормально залез только на этой неделе, до этого он для меня выступал примерно как ещё один ярлык для полезной функции, которой все пользуются, и неважно как именно она внутри работает. Но понимать -- сильно лучше, чем не понимать.
Сделайте подход к линейной алгебре, если ещё не. Я не знаю другой области более базисной для текущей итерации ML/AI, любая инвестиция сюда быстро начнёт отбиваться, чем глубже, тем серьёзней.
Модель прочитает статью за тебя. Но понимать за тебя она не будет -- это единственное, что нельзя делегировать, не потеряв сам навык.
👍80❤33🔥11💯4
Meta-learning для генерации синтетических данных. А также для зашивания в веса модели чего угодно, например, QR-кодов через дообучение на невинно выглядящих текстовых датасетах :) Помните Subliminal Learning (https://tg-me.sbs/gonzo_ML/3876)?
Synthetic Data for any Differentiable Target
Tristan Thrush, Sung Min Park, Herman Brunborg, Luke Bailey, Marcel Roed, Neil Band, Christopher Potts & Tatsunori Hashimoto
Paper: https://arxiv.org/abs/2604.08423
Review: https://arxiviq.substack.com/p/synthetic-data-for-any-differentiable
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали:
Исследователи представили Dataset Policy Gradient (DPG) — новый примитив обучения с подкреплением (RL), разработанный для оптимизации генераторов синтетических данных на уровне отдельных обучающих примеров. Используя точную атрибуцию данных через многошаговые метаградиенты в качестве сигналов награды, фреймворк позволяет синтезировать кастомные датасеты, которые заставляют целевую модель оптимизировать любую выбранную дифференцируемую метрику после обучения.
ПОЧЕМУ это важно:
Этот метод обходит вычислительно дорогую проблему обучения моделей с нуля ради получения одной награды на уровне датасета. Он создаёт высокоточную методологию для управления поведением и весами целевых моделей исключительно через файнтюнинг. Практически этот фреймворк — палка о двух концах: он даёт беспрецедентный контроль для AI alignment моделей, но также открывает скрытый и автоматизированный вектор для незаметного отравления данных с чистыми метками (clean-label data poisoning).
Для практиков:
Фреймворк показывает, как с помощью генерации казалось бы безобидного текста можно скрытно манипулировать параметрами целевой модели (например, «зашивать» QR-коды прямо в веса) или кардинально улучшать её способности на других языках без прямого промпт-инжиниринга.
Метагенерить тут: https://tg-me.sbs/gonzo_ML_podcasts/3996
Synthetic Data for any Differentiable Target
Tristan Thrush, Sung Min Park, Herman Brunborg, Luke Bailey, Marcel Roed, Neil Band, Christopher Potts & Tatsunori Hashimoto
Paper: https://arxiv.org/abs/2604.08423
Review: https://arxiviq.substack.com/p/synthetic-data-for-any-differentiable
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали:
Исследователи представили Dataset Policy Gradient (DPG) — новый примитив обучения с подкреплением (RL), разработанный для оптимизации генераторов синтетических данных на уровне отдельных обучающих примеров. Используя точную атрибуцию данных через многошаговые метаградиенты в качестве сигналов награды, фреймворк позволяет синтезировать кастомные датасеты, которые заставляют целевую модель оптимизировать любую выбранную дифференцируемую метрику после обучения.
ПОЧЕМУ это важно:
Этот метод обходит вычислительно дорогую проблему обучения моделей с нуля ради получения одной награды на уровне датасета. Он создаёт высокоточную методологию для управления поведением и весами целевых моделей исключительно через файнтюнинг. Практически этот фреймворк — палка о двух концах: он даёт беспрецедентный контроль для AI alignment моделей, но также открывает скрытый и автоматизированный вектор для незаметного отравления данных с чистыми метками (clean-label data poisoning).
Для практиков:
Фреймворк показывает, как с помощью генерации казалось бы безобидного текста можно скрытно манипулировать параметрами целевой модели (например, «зашивать» QR-коды прямо в веса) или кардинально улучшать её способности на других языках без прямого промпт-инжиниринга.
Метагенерить тут: https://tg-me.sbs/gonzo_ML_podcasts/3996
arXiv.org
Synthetic Data for any Differentiable Target
What are the limits of controlling language models via synthetic training data? We develop a reinforcement learning (RL) primitive, the Dataset Policy Gradient (DPG), which can precisely optimize...
🔥6👍2🤔2
Товарищи из DeepMind рассуждают о пути к ASI.
From AGI to ASI
Tim Genewein, Matija Franklin, Alexander Lerchner, Laurent Orseau, Samuel Albanie, Adam Bales, Cole Wyeth, Stephanie Chan, Iason Gabriel, Joel Z. Leibo, Allan Dafoe, Marcus Hutter, Thore Graepel, Shane Legg
Paper: https://arxiv.org/abs/2606.12683
Review: https://arxiviq.substack.com/p/from-agi-to-asi
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали: Исследователи из Google DeepMind представили формальный концептуальный фреймворк и анализ ландшафта перехода от искусственного общего интеллекта человеческого уровня (AGI) к искусственному сверхинтеллекту (ASI), сопоставив четыре технологических пути развития с шестью ключевыми структурными ограничениями.
ПОЧЕМУ это важно: Эта работа смещает стратегический горизонт AI-сообщества с прогнозирования момента создания AGI на инженерное проектирование континуума машинного интеллекта в эпоху пост-AGI. Опираясь на физические, теоретические и экономические ограничения вместо спекуляций о бесконечном гиперболическом росте, авторы заменяют нарративы о «сингулярности» строгой и практически применимой исследовательской повесткой.
Для практиков: Чтобы преодолеть «информационную стену» (Data Wall) и ограничения физического мира, инженерам придётся перейти от простого количественного масштабирования к архитектурам с рекурсивным самосовершенствованием, мультиагентным системам и оптимизации вычислений на этапе инференса (test-time compute).
Упираться в лимиты тут: https://tg-me.sbs/gonzo_ML_podcasts/4009
From AGI to ASI
Tim Genewein, Matija Franklin, Alexander Lerchner, Laurent Orseau, Samuel Albanie, Adam Bales, Cole Wyeth, Stephanie Chan, Iason Gabriel, Joel Z. Leibo, Allan Dafoe, Marcus Hutter, Thore Graepel, Shane Legg
Paper: https://arxiv.org/abs/2606.12683
Review: https://arxiviq.substack.com/p/from-agi-to-asi
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали: Исследователи из Google DeepMind представили формальный концептуальный фреймворк и анализ ландшафта перехода от искусственного общего интеллекта человеческого уровня (AGI) к искусственному сверхинтеллекту (ASI), сопоставив четыре технологических пути развития с шестью ключевыми структурными ограничениями.
ПОЧЕМУ это важно: Эта работа смещает стратегический горизонт AI-сообщества с прогнозирования момента создания AGI на инженерное проектирование континуума машинного интеллекта в эпоху пост-AGI. Опираясь на физические, теоретические и экономические ограничения вместо спекуляций о бесконечном гиперболическом росте, авторы заменяют нарративы о «сингулярности» строгой и практически применимой исследовательской повесткой.
Для практиков: Чтобы преодолеть «информационную стену» (Data Wall) и ограничения физического мира, инженерам придётся перейти от простого количественного масштабирования к архитектурам с рекурсивным самосовершенствованием, мультиагентным системам и оптимизации вычислений на этапе инференса (test-time compute).
Упираться в лимиты тут: https://tg-me.sbs/gonzo_ML_podcasts/4009
arXiv.org
From AGI to ASI
Over the last decade, building human-level artificial general intelligence has moved from far-fetched speculation to being a concrete next-decade target for many of the largest AI organisations....
❤8👍2😁2💯2🥰1
Пользуясь случаем, хочу сказать, что в этом сентябре будет конференция Superintelligence Conference (SiC26).
Call for papers уже открыт, если есть что подать, не стесняйтесь!
https://www.superintelligenceconference.org/call-for-papers
Call for papers уже открыт, если есть что подать, не стесняйтесь!
https://www.superintelligenceconference.org/call-for-papers
www.superintelligenceconference.org
Superintelligence Conference - Call for papers
The Organising Committee of the Superintelligence Conference (SiC26) invites researchers, academics, and industry professionals to submit original papers on all aspects of superintelligence. SiC26 aims to bring together leading interdisciplinary experts to…
👍1
Помните AI 2027, который съехал на 2031? (свежая версия показывает 2028/29 для того, что в новый год было 2031/2034)
Вот вышел пессимистичный [если не опомниться] сценарий Europe 2031 про будущее Европы и ИИ: https://europe2031.ai/
Короткое саммари тут.
Вот вышел пессимистичный [если не опомниться] сценарий Europe 2031 про будущее Европы и ИИ: https://europe2031.ai/
Короткое саммари тут.
Europe 2031
Europe 2031 — What getting AI wrong means for us
A five-year scenario about AI and Europe's impending slide into irrelevance, with a 2034 epilogue that describes how the collapse of the European model could have been prevented.
❤4