Пользуясь случаем, хочу сказать, что в этом сентябре будет конференция Superintelligence Conference (SiC26).

Call for papers уже открыт, если есть что подать, не стесняйтесь!

https://www.superintelligenceconference.org/call-for-papers

Помните AI 2027, который съехал на 2031? (свежая версия показывает 2028/29 для того, что в новый год было 2031/2034)

Вот вышел пессимистичный [если не опомниться] сценарий Europe 2031 про будущее Европы и ИИ: https://europe2031.ai/

Короткое саммари тут.

Постоянно вспоминаю этот мем:

Как геймеры в своё время проспонсировали железо для глубокого обучения, так и нынешние пользователи LLM с CoT проспонсируют железо для следующего поколения ИИ. Классический текстовый CoT -- это крайне неэффективный способ трекинга состояния. Токенов или ещё каких-то состояний можно было бы тратить на порядки меньше. Статья в целом про это, что топология трансформеров должна поменяться.

The Topological Trouble With Transformers
Michael C. Mozer, Shoaib Ahmed Siddiqui, Rosanne Liu
Paper: https://arxiv.org/abs/2604.17121
Review: https://arxiviq.substack.com/p/the-topological-trouble-with-transformers
Code: N/A
Model: N/A

# TL;DR

ЧТО сделали: Авторы представили глубокую архитектурную критику стандартных полносвязных (feedforward) трансформеров, подробно объяснив, почему их сугубо однонаправленная топология принципиально ограничивает динамическое отслеживание состояния (state tracking). Чтобы наметить пути развития будущих архитектур, они предложили подробную двумерную таксономию, которая классифицирует рекуррентные и непрерывно мыслящие варианты трансформеров по оси рекуррентности (глубина или шаги) и соотношению входных токенов к шагам рекуррентности.

ПОЧЕМУ это важно: Современные ИИ-системы сильно полагаются на неэффективные с вычислительной точки зрения костыли вроде явной цепочки рассуждений (CoT), чтобы обойти бутылочное горлышко между глубиной модели и её состоянием. Эта работа показывает, почему такие явные стратегии неэффективны, и призывает к стратегическому переходу к неявной динамике рекуррентных активаций. Это даёт чёткую дорожную карту для проектирования фундаментальных моделей, способных поддерживать долгосрочную когнитивную согласованность.

Для практиков: Для сложных задач последовательного отслеживания стандартные трансформеры требуют глубины, растущей линейно с длиной контекста. Вместо того чтобы тратить бюджет токенов на раздутый CoT, исследователям стоит присмотреться к гибридным решениям с рекуррентными связями SSM, DeltaNet или подходам с неявным планированием во внутреннем пространстве активаций.

Снова читать про рекуррентность тут: https://tg-me.sbs/gonzo_ML_podcasts/4019

Мы тут сидим, а в мире революция! 😺

Завтра бахну разбор! 😁

Но боюсь Макрон забанит скоро...

Или есть там всё-таки этот бэкпроп...

This is how the Neocortex Learns
Randall C. O'Reilly
Paper: https://compcogneuro.org/oreilly-2026-cortlearn (https://arxiv.org/abs/2606.08720)
Review: https://arxiviq.substack.com/p/this-is-how-the-neocortex-learns
Code: N/A
Model: N/A

# TL;DR

ЧТО сделали: Автор представил масштабный междисциплинарный теоретический синтез, доказывающий, что неокортекс млекопитающих обучается путём аппроксимации алгоритма обратного распространения ошибки. Эта аппроксимация реализуется через «модель временной производной» (temporal derivative model): градиенты ошибок неявно кодируются как разность между последовательными состояниями активации предсказания и результата в рамках 200-миллисекундного тета-цикла. Биологически модель опирается на двунаправленные кортикоталамические петли, а на субклеточном уровне — на конкурентную синаптическую пластичность под управлением киназ.

ПОЧЕМУ это важно: Эта работа разрешает давний, длившийся десятилетиями спор о биологической правдоподобности глубокого распределения ответственности (credit assignment) в мозге. Показывая, как неокортекс может неявно выполнять градиентный спуск без выделенных «нейронов ошибок» или физически невозможных обратных связей, предложенный фреймворк даёт единую теорию обучения млекопитающих.

Для практиков: Работа предлагает чёткий чертёж для проектирования энергоэффективных аппаратных правил обучения на чипе и нейроморфных архитектур, способных масштабироваться подобно глубоким нейросетям.

Искать бэкпроп здесь: https://tg-me.sbs/gonzo_ML_podcasts/4031

Сложно поспорить