DIY Software

Приход GPT-5 наконец-то показывает: простые утилиты больше не нужно искать и скачивать, их можно просто создавать по мере необходимости, прямо перед использованием! По горячим следам написал короткую заметку о том, как это повлияет на наши отношения с продуктами и компьютерами.

The Bitter Lesson

Короткое, но беспощадное эссе о самом горьком уроке в истории исследования ИИ: машины учатся лучше, когда мы не мешаем им своими знаниями.

Рич Саттон — наш Ролан Барт, только вместо “смерти авторов” здесь — рождение современных LLM.

Ссылка на сайт автора.

Маркетологи уничтожат Интернет

А вместе с ним и информацию. Бренды переписывают сеть, в попытках повлиять на мнения моделей. Лонгрид о том, чем обернутся современные тренды в SEO (GEO). Если Вы всё чаще советуетесь с нейросетями по личным вопросам, этот материал для Вас.

Attention Is All You Need

Статья 2017 года от Google Brain, которая вполне могла называться как-нибудь в духе “Learning Representations with Multi-Head Query–Key–Value Attention”, но начала целый тренд стильных заголовков. Ну, а еще стала самым важным трудом в современной истории ИИ со времен изобретения MLP.

📜 arXiv

Bonus: Visualizing transformers and attention

Классный доклад от автора 3Blue1Brown, который на пальцах объясняет механизм атеншена.

▶️ YouTube

Model hopping

По всей видимости, бегать между провайдерами от нерфа до нерфа теперь — новая норма. В то время, как Sonnet последние 1.5 месяца стала просто неюзабельной, все пищат от восторга Codex + GPT-5 Prо. Видимо, провал GPT-5 повлёк за собой падение метрик и они решили на всех выкатить сильную модель без квантизации и ограничений reasoning бюджета. Я пошёл пробовать. По опыту такое быстро заканчивается. О впечатлениях расскажу позже, но, сука, какая же гнилая компания OpenAI, просто зла не хватает.

Обнаружили, что у всех была включена галочка по воровству данных. Причем она интересным образом у всех не отжимается с первого раза, вот интересный UI баг. Будьте осторожны, я чуть не задонатил OpenAI всю нашу технологию.

Что не так с дискурсом о рисках ИИ

Посмотрел дебаты моего друга Гриши @mustreads и Сергея Маркова. Накопилось больше одного предложения впечатлений, решил накатать заметку о том, почему я не могу всерьез вовлечься в такие публичные дискуссии ни как зритель, ни как спикер.

The Unreasonable Effectiveness of Data

2009 год. Google. Трое исследователей пишут статью, в которой заявляют, что элегантного представления для естественного языка не существует, а значит масштаб данных важнее изящества алгоритма или наличия разметки. Мурашки по коже от того, что эти идеи до сих пор направляют индустрию.

Экспонента или сигмоида? Природа ускорения ИИ.

Записал видео, в котором постарался сопоставить оптимизм людей с e/acc в никнеймах со скепсисом Маркуса/ЛеКуна. Если полгода назад не хотелось даже слушать что там говорят децелы, то сейчас в воздухе повис вопрос: продолжать ускоряться-то будем или сингулярность откладывается?

▶️ YouTube

Открываем много позиций в Gracia

Кажется, мы доказали PMF вольюметрических видео и теперь уже совсем не справляемся с количеством проектов. Приходите к нам сделать новый медиум контента повседневностью!

📍London, UK // можно начать удалённо

В рамках нашего переосмысления привычных ролей, мы добавили в список экспериментальную позицию ИИ-ориентированного продакта. Не уверены, существуют ли уже такие кандидаты, пошерьте её знакомым энтузиастам 👉👈

С++ Core Engineer [GPU Background]

R&D Engineer [Computer Vision / 3DGS Background]

R&D Engineer [GenAI Background]

Product Lead [AI-Oriented]

QA Engineer [Automation]

Marketing Lead [Tech PR Background]

The Hardware Lottery

Исследовательские идеи побеждают не из-за фундаментального превосходства, необходим мэтч с конъюнктурой софта и железа. Строим ли мы лестницу до Луны, скейля трансформеры? Почему между первым backpropagation и AlexNet прошло 30 лет? Причем здесь закон Мура и как быть после него?

Эссе Сары Хукер (2020, Google) вводит одноименный термин и комплексно рассматривает историю ИИ. Текст напичкан ссылками на Хинтона, ЛеКуна, Саттона, Амодея, устройство мозга, алгоритмов и железа — на случай, если вам нужна rabbit hole.

Вторая смена идиотов

Пал жертвой массовой истерии вокруг Ральфа Виггума и предпринял попытки начать делать фичи его силами в ночную смену. Ускорить работу пока не получилось, зато окончательно понял, какой должна быть наша вторая фаза ИИ-ориентированности.

Выкатили стриминг сплатов

С начала года работали над тем, чтобы впихнуть наш вольюметрический кодек в 75Mbps битрейт. Помню, как в начале проекта увиливал от вопросов инвесторов про трансляции и сам не особо верил, что мы до них добежим. Теперь это в моём айфоне.

В одном релизе сделали CDN инфру для раздачи видео по всему миру, рендеринг в браузере (даже в WebXR), пространственное аудио и даже зачатки релайтинга! Команда рутинно прыгает выше головы — дико горжусь.

Попробовать можно тут: store.gracia.ai

ИИ, деньги, сокращения

Проделал большую работу, написав текст, который ставит перед собой цель суммаризировать и осмыслить весь текущий дискурс.

Прочитайте его. Прочитайте его еще раз. Потом попросите телефон его озвучить.

Стратегии, учитывающие ускорение

В преддверии хайп-трейна Mythos и Spud, делюсь компиляцией впечатлений от влияния ускорения на наш подход к работе. Сегодня о первостепенности feedback-loop’ов, стратегическом планировании и новом типе задачек, для которых нужно выработать свежую интуицию.

HTML > Markdown

Подсел на новый прием — генерацию презентационных деков моделькой после изнурительной работы. Я сейчас активно занимаюсь построением ресерч-майнинг-лупов и когда модель за два дня попробовала 229 идей, fucking hell всё это отсматривать и валидировать. Я еще докручиваю свой harness, но последние пару недель, когда просыпаюсь, примитивным промптом прошу сделать мне презентацию о том, что получилось, что нет и че вообще какие мысли:

okay it’s been 48 hours and it seems we are failing on achieving our goal. please create html deck with key wins and lessons and host it on port 8000. include download buttons for best experiments. reflect on why do you think we are not approaching our set goal. how far did we manage to push our baseline? is the validation badly formulated? do you think we are reward hacking at this point? highlight the most unexpected things you’ve encountered. present proposals on frozen validation reformulation.

Сидишь за чашечкой матчи — листаешь слайды, на которых всё супер понятно изложено, кликаешь на кнопочки — качаешь файлы, отсматриваешь резы. Вроде бы уже рутина ежедневная, но каждый раз мурашки от такой HTML инфляции. Рекомендую.

Сила воли как опасное заблуждение

Рассказываю о своём глубоком фундаментальном убеждении в построении командных процессов и как из этого вытекает [почти] полный отказ от бывших когда-то стандартами ритуалов (например, code-review или manual QA).

claude -p — ВСЁ.

Лафа субсидированных токенов начинает подходить к концу — сначала перевели Opus 4.7 на API прайсинг во всех сторонних агентах (Cursor в нашем случае), теперь Anthropic убирают все headless юзкейсы из подписки, а значит что claude -p, AgentSDK, GitHub Actions и остальные тулы теперь будут получать API кредиты в количестве цены подписки (например, $200 в случае Max 20x) и всё, что сверху — по API рейтам (что абсолютно неподъёмно почти для любых задач). Изменения вступают в силу с 15 июня.

Если вы токенмаксили и крутили лупов на $35k за две сотни долларов или делали пайплайны, основанные на программном использовании Claude CLI — за вами пришли и самое время начать писать PTY эмулятор человеческих нажатий на клавиатуру, но даже если нет, то надо начать готовиться: harness-oriented codebase, вдумчивый дизайн промптов и скиллов, локальный инференс, дешевые/специализированные модели. Чуть-чуть покайфовать время еще есть.

Официальный анонс

Meta Reality Labs x Gracia

Честно, не думал, что нам можно будет про это рассказывать. Год назад мы познакомились с ресерчером из MRL и он предложил реконструировать «музыкальное представление» для них.

Мы такие: да без проблем, у нас большой опыт. Пожали руки, начали ждать футаж. Когда получили, не могли поверить своим глазам: кромешная тьма, шум, дым машины, строббинг освещение, толпа рейвящих людей. Я не думаю, что еще кто-либо в истории пытался реконструировать что угодно такого же уровня безумия.

Наш глава R&D Илья пожал плечами, сказал hold my beer triple espresso, пошёл и затащил. Мета настолько впечатлилась, что разрешила нам этим похвастаться. Зацените тизер клипа группы Memba - Patience, сделанный нами в настоящем вольюметрике.

Мы направляемся в LA, чтобы на крупнейшей XR конфе AWE рассказать об этом проекте и сделать еще один, не менее важный анонс. 🫡