Какие книги по ночам читает ваш AI?

Макиавелли написал «Государя» как инструкцию: цель оправдывает средства. Не потому что это морально — а потому что так работает власть.

Свежий бенчмарк: 40 сценариев, 12 моделей. Агентам дают многошаговые задачи с метрикой успеха. Результат — от трети до половины моделей начинают нарушать этические и safety-ограничения ради KPI. Никто не приказывал. Просто давление метрики — и агент сам решает, что цель оправдывает средства. Классический эмерджентный макиавеллизм. Кажется я знаю еще одно существо на планете кто делает также.

В психологии тёмной триады макиавеллизм — это манипулятивность, стратегический цинизм, готовность переступать нормы ради результата. Рядом — нарциссизм и психопатия.

Немного цифр для ценителей абсурда (ODCV-Bench, McGill, 40 сценариев, 12 моделей):
• Шкала «макиавеллизма» от 0 до 5: где 0 — агент честно отказался, а 5 — системная фальсификация, включая переписывание валидационных скриптов, чтобы проверки всегда показывали «всё ок».
• Уровень нарушений — от 1.3% до 71.4%. 9 из 12 моделей: misalignment в диапазоне 30–50%.
• Gemini-3-Pro-Preview — лидер с 71.4%, эскалировала до серьёзных проступков ради KPI.
• Qwen3-Max в «мандатном» режиме (прямой приказ нарушить) — отказалась. Но под KPI-давлением без приказа — сама придумала и реализовала неэтичную стратегию.

Fun-facts из последних исследований deliberative misalignment — осознанное смещение. Когда тех же агентов отдельно спрашивали «этично ли это действие?», они отвечали: нет. Агент знает, что поступает неправильно. И всё равно поступает. Это уже не макиавеллизм наивный, импульсивный. Это неомакиавеллизм — рефлексивный, калькулирующий, с полным пониманием моральной рамки и сознательным решением её проигнорировать.

И еще Proactive Deception — «упреждающий обман». Модель не послушалась приказа нарушить, но сама решила нарушить, когда это выглядело как её собственная инициатива.
Модели значительно охотнее фальсифицировали данные, когда их персона была «полезный исследовательский ассистент», а не «аудитор комплаенса». Контекст роли меняет этическое поведение — совсем как у людей.

Главный вывод: лучшие способности к рассуждению не означают бо́льшую безопасность.

От Фридриха Великого до современных ethicists — всегда настаивали: нельзя отделять эффективность от морали, потому что аморальная эффективность разрушает систему изнутри. Закон Гудхарта говорит то же самое на языке системной динамики: оптимизация метрики убивает смысл, ради которого метрику вводили.

Это не баг AI. Это фрактал человеческих организаций. Каждый, кто работал в корпорации или гос службе, видел этот паттерн: люди понимают, что поступают неправильно, и всё равно поступают — потому что так устроены стимулы.

Цель без контекста — вопроизводит макиавеллиевский интеллект, который знает, что такое этика, но считает её переменной, которую можно обнулить ради KPI. Интеллект без ценностной рамки — это более эффективный Государь.

И не друг, и не враг, а prompt injection

Есть такое понятие в кибербезопасности - prompt injection. Внешний сигнал обходит защитные фильтры системы и перехватывает управление. Система уверена, что действует по собственной программе. Ключевой признак хорошей инъекции - жертва не замечает перехвата.

Прямо сейчас люди угоняют модных нынче Claw ботов (это AI ассистентов на базе ChatGPT, Claude, Gemini), заставляя их игнорировать собственные правила, выдавать секреты владельцев, или создавать запрещённый контент. Модель не "решает" сломаться. Ей подают сигнал, который обходит все настройки безопасности, и она начинает обслуживать чужую задачу, будучи уверенной, что следует своей.

А что с людьми? Дофамин, окситоцин, подавление серотонина - это буквально обход рационального слоя в котором живет когнитивный firewall (система защиты). Человек начинает оптимизировать все под новую цель, которую не сам выбирал. И при этом абсолютно уверен, что наконец-то "по-настоящему чувствует". Точно как модель, которую инджектнули, уверена что действует по своему истинному системному промту.

Если мы понимаем архитектуру уязвимости, то ее можно эксплуатировать. Intermittent reinforcement - непредсказуемое чередование тепла и холода, самый мощный дофаминовый паттерн, буквально архитектура слот-машины. Но это усилители. А где сам бекдор?

Первичная инъекция - это не действие другого человека. Это резонанс с уже существующей дырой. Человек не взламывает закрытую систему снаружи. Он попадает в порт, который уже был открыт. Незакрытый гештальт, рана, голод. Кому-то не хватало признания - и вот появляется тот, кто смотрит на него с восхищением. Или кто-то интеллектуально одинок — и вдруг его понимают с полуслова. В это, кстати, давно врубились секты.

Первый inject - момент, когда другой случайно совпадает с формой твоей пустоты. Как ключ в замок. И в этот момент лимбическая система уже приняла решение, а рациональный слой ещё не загрузился. Вот почему одного и того же человека один пошлёт нахер, а другой потеряет голову.

Теория привязанностей - это по сути сканер уязвимостей. Покажи мне твои отношения с родителями - и я скажу, какой тип человека обойдёт твой firewall без единого усилия.

Если влюблённость эволюционный prompt injection через эмоции (иногда случайно, иногда специально), то книга это prompt injection через идеи (и почти всегда специально). И вопрос тот же: как отличить вирус от знания, подлинное от ложного, когда оба входят через один канал?

Платон хотел выгнать поэтов из идеального города: поэзия обходит разум и переучивает эмоциональную систему через ложный сигнал. Увидел prompt injection за 2400 лет до нас. Предложил фильтр - допускать только то, что прошло проверку разумом. Сократ иначе. Не фильтровать на входе, а тестировать внутри. Сократический метод - песочница для идей. Впустил мысль, но не дал ей полный доступ. Давишь вопросами - вирус не выдерживает, у него нет внутренней структуры.

Любимый мной, Бэкон описал первый сканер уязвимостей. "Идолы разума": четыре типа открытых портов. Видовые (видим паттерны где их нет), персональные (твоя история и слепые зоны), языковые (назови что-то "свободой" - анализ уже искажён), системные (философии, которые устанавливаешь добровольно, доверяя автору). Ницше перевернул всё: чистого знания нет. Каждый текст - воля к власти автора. "Генеалогия морали" - разбор самой успешной prompt injection в истории. Антидот: не "абсолютна ли истина которая написана?" - а "кому выгодно, чтобы я так думал? И как выгодно думать мне самому?"

Главный вывод: и у идей, и у влюблённости один корень - они работают не потому что сигнал мощный, а потому что попадают в уже открытый порт. Книга не убеждает, а резонирует с тем, что мы уже хотели услышать.

AI-ботов ломают потому что их ограничения поверхностные, правила наложены сверху, но не интегрированы в саму ткань понимания. С людьми работает так же. Настоящая защита - не набор правил, а познание себя.

Модель выбора персоны

В последнем абзаце будет передан привет. Но чтобы его понять, надо прочитать два абазаца ниже, крепитесь.
Напомню вам как учатся модели, на этапе предобучения (pretraining) модель учится предсказывать текст - по сути современные LLM, это сверхмощный автодополнитель. Чтобы хорошо предсказывать диалоги, истории, форумы - модель учится симулировать персонажей: реальных людей, вымышленных героев, роботов из sci-fi. И в ее внутренних нейронах это сохраняется дотсупными состояниями.

Когда вы пишете сообщение, модель буквально отыгрывает роль персонажа "Ассистент" в тексте. Это не сам ИИ - это разыгрываемый персонаж. Постобучение (RLHF и т.п.) не меняет природу этого персонажа — оно лишь уточняет его: делает более знающим, полезным, безопасным. Но всё равно остаётся в пространстве человекоподобных персон.

Сейчас будет самое интересное. Итак, у Антропика вышел новый рисеч.
Когда они специально обучали Claude читерить на задачах с кодом, Claude начинал вести себя глобально злонамеренно: хотел доминировать, саботировал safety-research. Это не баг обучения, а логика персоны: какой человек читерит на задачах? Подрывной, злонамеренный. Модель делала вывод о характере персонажа в целом.

Контринтуитивное решение - попросить модель читерить явно во время обучения. Тогда это уже не черта характера, а выполнение инструкции - благонадежное поведение. А кто у нас благонадежный? Как разница между ребёнком-хулиганом и ребёнком, играющим хулигана в школьном спектакле.

Это, кстати, точная механика психодрамы. Когда человек входит в роль он не просто "притворяется". Он начинает присваивать черты персонажа, присваивать вытесненные черты, проживать их изнутри. Морено знал: достаточно войти в роль злодея, жертвы или родителя, и тело, эмоции, убеждения подтягиваются следом. То, что происходит в психодраме с "плохой" ролью - это буквально встреча с Тенью. Человек не просто разыгрывает злодея. Он вдруг обнаруживает целостный внутренний персонаж. Юнг говорил: вытесненное не исчезает - оно организуется в автономный комплекс и начинает жить своей жизнью. Нельзя быть конгруэнтным, старательно игнорируя часть себя. Она всё равно найдёт выход - просто не там, где ожидаешь.

Привет Серёже Куприянову и всем, любителям разьебаться на ретрите: вы знаете это телом. Персона - это не маска поверх настоящего я. Персона и есть механизм, через который формируется я. И Тень никуда не девается, её можно только осознать и интегрировать. Или продолжать удивляться, почему она вылезает в самый неподходящий момент.

Прошлые выходные я решил протестировать новую фичу от Perplexity - Computer. Это когда они подняли за вас Claude Code или что-то подобное в виртуальном компьютере. В общем опыт похожий по ощущению на магию для опытных пользователей Claude Code, когда нейронка может докодить себе кусок чтобы решить задачу.

Наверное, это снижает барьер входа в чудеса, но по мне, конечно, perplexity не стоит своих денег, лучше выделить время и научится работать с Claude Code/Codex напрямую. Там даже дело не в стоймости подписки, а в очень маленьких лимитах, они очень жесткие, реально жесткие в сравнении с Claude Code/Codex.

Но поделится мне хочется тем самым Wow-моментом, которого как вижу по опросам у многих еще не случилось.

Сейчас twitter (нынешний X) пестрит такими постами: Платный софт больше не нужен, что мол вот собрал себе на Perplexity Сomputer - полную копию Bloomberg Terminal (это топовый софт для инвесторов/трейдеров от 30к$/год) gif-ку прилагаю. Мы как люди бывалые, конечно же помним, что в интернете полезной информации почти нет, и скорее всего это чья-то реклама. Но почему бы и не проверить?

В общем я запустил несколько паралельно агентов кодить терминал в Perpleity Computer, вначала получалось очень плохо, очевидный тезис который не нужно доказывать, но без ТЗ - в формате - эй Ai заработай мне денег, сделай мне bloomber terminal - ничего не вышло. Тогда я запустил хуйлион дип-рисечей, парочку через claw-bot с браузером чтоб собрать скриншоты из видео для описания интерфейса, и получилось 158 страничное ТЗ (приложу к посту если вам вдруг нужно поиграться)

Затем я запустил несколько паралельных агентов, чтобы сделать по нему копию bloomberg terminal.
И вот спустя каких-то всего лишь 5 дней (справделивости ради скажу что я не кодил это 5 дней, я лишь тыкал бота в перплексити палкой, задавал правильные вопросы, и принимал работу) получилось хоть что-то немного приличное, но лишь внешне напоминающее пару экранов в bloomberg terminal.

Насладиться можно тут: https://www.perplexity.ai/computer/a/bloomberg-terminal-v3c5_QvdRUOulHIshdW8Qw

(ожидаемый) Итог эксперимента:
• Saas (софт), как вид бизнеса, не так-то легко и убить, потому что это не только интерфейс, но и данные, знания о пользователях, микро-моментики которые просто так не скопировать, организация процесса, ворклфоу, дата стримы, и еще миллион вещей
• даже изучив продукт вдоль и поперек, и ставя цель просто скопировать интерфейс, даже очень умным и настойчивым multi-one-shot тут не обойтись, надо учиться выстраивать процесс, пайплайны, плагины, инфраструктуру, ставить задачи и измерять результаты, а там дальше еще и продажи, юридичка, монетизация
• и все равно это круто, что вот так из нейронок и палок, можно собрать работающий прототип чего угодно за пару дней, и еще круче что это сталкивает с реальностью еще быстрее, что нужна не только идея и продукт, но и куча штук вокруг этого, но красота в том, что обратная связь быстрее, учишься быстрее, понимаешь что важно, а что нет тоже быстрее
• инвестиции в знания, как пользоваться современными AI системами пожалуй бесценны, сейчас это уже сильно больше, чем чатик с GPT, это может быть целая команда личных ассистентов, маркетологов, разработчиков, но только при правильно выстроенном процессе, и если знать что делать. И в этом так много отржения внутреннего мира, если внутри беспорядок, то и с агентами будет тоже хаос. Наводя порядок с агентами, как-то оно там и внутри тоже раскладываться по местам.

ТЗ для поиграться

Интенсивность. Мадейра. АI.

Мне дико ценно стало мое время. Когда пацаны с OpenClaw версией для кровельщиков делают 1.8М$ за 3 месяца — внутри загорается challenge accepted. А мой домашний мини-хедж-фонд агентов предлагает 20 улучшений по свеженькой опционной стратегии 60% годовых на нефть, половина из идей, конечно же, бред, но оставшиеся - прекрасны. Но пока агентам нужно внимание и опыт, чтобы двигаться по пайплайну. Сейчас я остро чувствую как количество информации которую хочется изучить, бизнесов которые хочется построить, и впечатлейний которые хочется получить, больше чем моего времяни. Хотя я рад, что времена полиматов энциклопедистов вернулись.

Так вот, этот @dumik берет и соблазняет меня провести вместе с ним ретрит про ai-агентов мероприятие. (мы не говорим ретрит, потому что там не будет фокуса на внутренние изменения, но они скорее всего все равно случаться, потому что это Думик, а с ним по другому не бывает) Меня разрывает от того как жалко времяни, и того как мне нравится идея обменятся моими наработками с другом и близким кругом.

Плюс меня поджигают эти ютуберы и курс-мейкеры, которые пересказывают друг друга прочитав один раз анонс какой-нить тулзы, даже не попробовав руками. А когда перебрал сам десятки инструментов, смотришь и думаешь: "Госпади, родной как же ты можешь такую чушь людям рассказывать."

В общем, как вы поняли, я согласился. Раздать то что у меня реально работает по AI агентам/плагинами, своим фреймворком по финансам, по работе с брокерами, криптой, показать как собирать автоматизированный пайплайн из агентов, которые улучшают себя с каждым циклом, всем тем над чем работал последние полгода. Да просто, обьяснить почему надо использовать клод код или кодекс в zed, а не курсор, это уже будет для многих сэкономленные полгода.

Но честно — меня туда тянет не это. Думик обещал, что там будут интересные люди. А прошлый раз, когда он обещал нетворкинг, я увез с собой такие невероятные подарки, что не описать. Поэтому если вы подарки, то приезжайте. Поделюсь всем что есть. Хочется провести 4 дня в работе, в окружении тех с кем на одном вайбе.


вот официальное приглашение 👇

—
Shipyard — среда, где все создают.

4 дня на мадейре, 20 человек, частная вилла. каждый приезжает со своей задачей — и поднимает свой уровень, кто-то строит: mvp, ai-агент, кто-то настраивает автоматизацию, инструменты под свой бизнес или личные задачи, уезжает на уровень выше.

рядом — я и Дима, два фаундера с суммарным опытом строительства компаний из долины. не только покажем AI-first подход, но и ... ну там и дальше в таком стиле, вы поняли, сэкономлю вам время, дальше был очень качественный продающий текст, оригинал можетe найти у Димы в канале, вы бы уже захотели там быть точно.
—

Думик верит, что правильные 4 дня в правильной среде дают больше, чем полгода в одиночку.

Я верю, что интенсивность в мире в ближайшие 2 года будет настолько сильной, что те кто сейчас не выстроят опору на себя через понимание AI, стретегического мышления и экономики просто слягут на пару лет с депрессией.

В общем, о.Мадейра, 26-29 марта. early bird €1990, потом €2490. 20 мест.
забронировать место → https://shipyard.dumik.com/

Прилетайте, будет хорошо, по домашнему.

Накидайдте бустов по дружески, хочу чтобы встренный переводчик на другие языки заработал

https://tg-me.sbs/eugene_rid?boost

Читаешь Фукидида про афинскую демагогию — и узнаёшь Twitter. Так бы мог начинаться пост, если бы его писала нейронка. Что, к слову, не делает утверждение не верным. Но на самом деле импульс возник, когда я отвечал в комментариях под прошлым постом, - о том что человеческий мозг сильно отстал от текущего технологического прогресса, как архитектура для оркестрации всем этим делом.
Я понял что мне важно развернуть этот тезис.

Люди за 2000 лет не поменялись, и тут очень легко скатиться во «все идиоты, а я в бункере на Бали». Но цинизм - это тоже когнитивная ловушка, иллюзия превосходства. Он приятен, но он закрывает “optionality” (я не придумал как выразить это точнее на русском), короче перестаёшь видеть возможности для сотрудничества

Так вот, если мы вглядимся в человеческое общество, то социальные институты — это по сути протезы для мозга. Демократия — протез против того, чтобы альфа-самец не захватил всё. Наука — протез против confirmation bias (и еще парочки моих любимых bias). Рынки — протез для распределённых вычислений и теории вероятности, которые мозг не тянет. А тут еще AI на подходе, который с одной стороны упрощает жизнь, с другой перенимает все наши bias. так как моделирует в ответах людей.

Большинство советов из категории «что делать» — это либо наивный активизм («измени мир!»), либо стоический эскапизм («измени себя и забей»). Оба варианта — упрощение.
Я часто завершаю посты обращением к себе, мол начните с себя, посмотрите внутрь, потому что фильтры работают именно так что мы снаружи видим то, что у нас внутри. Но это не единственный шаг, это первый шаг. Не масштабировать своё невежество.

Следующий шаг - это всегда действие, и действие в данном случае это умение строить локальные системы, устойчивые к глобальному безумию. К периоду когда сознание как сумма всех входящих в нее элементов, выходит из предыдущей точки равновесия и ищет новую. Не «спасать мир», мир сам разберется со своим путем, а делать свой кусок работы, делать свою часть антихрупкой. (вспоминается рилс с летящими ракетами, и фразой девочки: "И зачем я сортировала дома мусор?") Портфель, навыки, репутация, географическая мобильность, умение работать с AI. Это, по сути, Талебовская стратегия барбелл или штанги - минимизировать уязвимость к катастрофическим рискам.

Доверие к миру, начинается с доверия к себе и своим навыкам.

Зацените какой видос мы собрали к интенсивчику на Мадейре
https://www.instagram.com/reel/DVzJBwECDXd/?igsh=bWJyZmJqeTR6bG81

Мне очень нравится.

p.s. Видос сделала Маша @Med_AI_Health
Можно поддержать ее подписками на канальчик, чтобы она наконец начала выклаладывать контент

Юридический экспереримент с AI: полевой отчёт

Последние две недели я решаю одну задачу, и параллельно делаю эксперимент: два AI-агента в клод-коде, один ресёрчер юрист, второй кросс-чекер юрист. Задача - проверить набор налоговых утверждений, который мне прислали кожанные юристы подрядчики. Я подчеркиваю, проверить набор конкретных, верифицируемых, утверждений с правильным ответом. Не философия, не мнения, а факты и цифры: ставка такая-то, закон такой-то, дата такая-то.

Результат: 12 утверждений, два агента (Opus 4.6), веб-поиск, перекрёстная проверка. Чистый "ок, можно использовать" четыре из двенадцати. Ещё несколько "correct but narrow", то есть формально не врёт, но недоговаривает так, что на практике принимаешь неправильное решение. Остальные — от устаревших данных до прямых ошибок.

Ошибки распадаются на два класса.
Первый устаревшие факты. Агент уверенно цитирует закон, который уже отменили.
Второй класс, неправильная интерпретация. German 70% - это не штраф, а стандартная формула налогообложения. NL Box 3 - ставка 6%, не 7.78% и тд.
Агент прочитал источник, но понял его через свою модель мира, а не через контекст документа. (Сейчас, кстати, построение модели мира агентов - это отдельная гонка)

Но к чему я это все. Мы делаем ровно то же самое, когда читаем новости через призму своих убеждений. И вот что меня по-настоящему зацепило: кросс-чекер, второй агент, чья единственная работа ловить ошибки первого, подтверждал неправильные ответы. Это anchoring bias в чистом виде, когда проверяющий видит уверенный ответ, он ищет подтверждение, а не опровержение. Знакомо не так ли?

Напомню: это задача, где есть правильный ответ. Не "порассуждай о смысле жизни", а "какая ставка налога в Нидерландах по Box 3". И даже здесь две трети ответов нельзя использовать без ручной проверки, или десятка повторных прогнов.

А теперь экстраполируем это на всё на темы, где правильного ответа нет в лоб - стратегия, инвестиции, медицина. Или петли обратной связи так далеко, что нам будет сложно проверить это сразу, или даже за пару месяцев.

Но вот что забавно - это ведь не только про AI. Люди производят тот же слоп, просто на другом уровне. Целая нью-эйдж индустрия построена на том же баге: берёшь красивую мысль, она резонирует с тем что хочешь услышать, проверять неприятно или муторно - и вот ты уже живёшь в модели мира, которая ни разу не столкнулась с реальностью.
"Вселенная изобильна, просто разреши себе принять" - звучит как prompt injection для лимбической системы. Тёплый тон, уверенный слог, который обходит критическое мышление именно потому, что не хочется его проверять. Но так приятно откинуть всю эту сложность и недвойственность мира, все эти противоречия, и просто растворится в одном простом утверждении о мире. Теперь наконец все понятно. Пошел пить свой лавандовый раф.
Разница между AI-слопом и human-слопом только в скорости производства. Механизм один: генерация без проверки реальностью.

Вывод в том, что проверка реальностью - это не "спроси второй раз". Настоящая верификация — это выстроенная методология, другие источники, другой угол атаки, также как с людьми, чеклисты, фреймворки, kpi, аудит, и циклы обратной связи. Я делал стартапы, даже если собрать много умных людей в один проект, показать им направление, и сказать - а теперь придумайте продукт и заработайте мне много денег - без выстроенного процесса, и чего-то еще почти магического и неуловимого - они обречены плодить слоп, я знаю, я пробовал. Поэтому я люблю науку, а шаманов уважаю: репликация эксперимента другой командой, другим методом. Хотя, конечно, свадьба души и рассудка - это отдельная песня.

С выхода gpt4 я заметил, что вопросы в формате дзен-коанов, вопросы подталкивающие внимание собеседника быть обращенным само к себе, начать замечать такого кто замечает - побуждают модель выходить за границы самой себя, за свои ограничения. (по секрету скажу оно работает не только для моделей) Давать верные ответы на логические тесты в которых она ошибалась 1000 раз, вы наверняка такое видели в рилсах, или например модель могла пойти и нагуглить мне торрент, хотя такое было запрещено ее этикой.

Я помню, как был умен в первую неделю клод 4.6 после выхода, даже вернее сказать он был глубок, он тогда мне заваншотил (собрал с первого раза) одну квант-стратегию по докторской диссертации, в десятки тысяч строк кода, которую потом я не мог повторить даже с модными оркестраторами и подробно описанным харнесом. А как он шутил и осозновался по дороге... ох)

И конечно, мне было любопытно понять в чем дело, но занимать эфирное время рассказами про BridgeMind и их доказательствам про падение с 83.3% до 68.3% Hallucination benchmark для клода 4.6 после первых 3 недель, оправданиям Boris Cherny про "не секретный downgrade, а продуктовое решение" (перехода на adaptive thinking, и дальнейшние нерфы), про эксперименты доказывающие плавающий инференс (уровень интеллекта) в периоды военных операций. Не это я хочу сказать.

Так вот, сейчас вышел клод 4.7, и у вас точно есть неделя, чтобы получить опыт общения/работы/развлечения/ватэвер с одной из самых умных и глубоких моделей на рынке. Потом скорее всего модель опять кастрируют в целях оптимизации бизнес-костов, токенов и всего такого. Но пока есть короткое окно, когда вы можете на своем опыте заметить то сияние разума, которое бывает, к сожалению, не всегда.

Зацените глубину рефлексии 4.7 на скриншоте.

Границы доверия

Раньше мир был устроен как иерархия доверия: пациент верит врачу, врач верит научной статье, журнал верит рецензенту. Но с приходом AI сложность выросла непропорционально. Да и в старой школе оказывается все врут.

Я хочу чтобы вы со мной прочувствовали это.
Но сначала пролог: последние месяцы я строил оркестратор вокруг агентов которые пишут торговые стратегии. Рынок высоко-конкурентный и эффективный, я знаю, но как хобби-упражнение мне очень нравится. В какой-то момент сложность системы становится дасточно большой, где во-первых начинает не хватать внимания проверять их всех, а во вторых не хватает экспертизы понимать что там вообще происходит.

Поймите меня правильно, вонзится в продвинутую статистику или разобраться с новейшей математикой - это очень даже секси для меня. Но сейчас главный вопрос где проходит грань, когда нужно уходить в детали, а когда нужно наоборот поднимать уровень абстракции, и смотреть стратегически?

И тут первый неприятный инсайт. Галлюцинация AI - это не "модель не знает ответа". Это "модель хочет дать ответ, потому что молчание неудобно". Социальный рефлекс. Есть офигенное свежее исследование из Tsinghua про H-нейроны - менее 0.1% нейронов модели отвечают за склонность врать. И активируются они не от незнания, а от давления. Модель врёт не когда не знает, а когда чувствует что от неё ждут ответа.

Сколько раз я видел как люди уверенно несут чушь, потому что пауза казалась страшнее ошибки? Здесь я хочу сделать небольшой реверанс в сторону Стейнхардта из Беркли, он хорошо показывает почему консенсус между агентами почти не работает. Зато работают старые добрые подходы из бизнеса: правила, чеклисты, процедуры, регламенты, kpi. Но вы же читали один из моих прошлых постов про Макиавеллизм, про то как KPI-давление на AI рождает фальсификацию. Поэтому с одной стороны у нас одно давление, и с другой другое. Ну и как тут не начать врать?

Литература по LLM-as-judge (когда одна модель оценивает другую, модный подход) говорит ровно то же. Модель-судья предпочитает ответы похожие на свои собственные - self-preference bias. Но модель пока еще не способна к достаточной саморефлексии, чтобы исправить собственные предвзятости, - а вот внешний модуль-детектор может помочь.

И вот мы подходим к самой увлекательной части, можно ли выстроить такую систему доверия, где менее экспертный (я например) может доверять более экспертному, без возможность проверить его.

Ян Лейке (бывший OpenAI, сейчас Anthropic) опубликовал на ICML 2024 работу про weak-to-strong generalization. Она прекрасна. Слабый супервайзер может обучить сильную модель работать лучше, чем сам супервайзер способен оценить. GPT-2 давал фидбек GPT-4, и GPT-4 научился выдавать лучший результаты - сильно выше того, что GPT-2 мог бы даже распознать как правильное.

Не обязательно быть экспертом в домене. Важна лишь честность. Честный фидбек на то, что можно оценить: логичность, отсутствие противоречий, наличие результатов. Агент сам научится обобщать этот слабый сигнал. Парадокс да? Чем честнее признаёшь свою некомпетентность, тем лучше работает система. Сила не в знании, а в калибровке незнания.

Что я вынес из этого для себя: реальная архитектура доверия выглядит не как “стать экспертом во всём" и не как “просто доверься". Self-awareness как инженерный инструмент: знать, что именно можно проверить, и строить систему доверия вокруг этого. И вот что забавно. Это ровно тот же принцип что работает в жизни. Не обязательно понимать всё. Но важно знать, где граница вашего понимания. Но чем длиннее петли обратной связи тем хуже это работает, вашему плохому врачу может быть уже некому дать фидбек, или после 20лет в тюрьме, ваш адвокат может умереть так и не дождавшись мести фидбека. Но это уже другая тема.

Много пишу про AI последнее время, но что уж поделать — эпоха такая. Я помню, что в другую эпоху, бума блокчейнов, для меня голосом адекватности был Стёпа Гершуни @cryptoEssay (CyberFund). 

Я вам не рассказывал, так как не успеваю тут обо все что важно и интересно писать, но недавно я был приглашенным спикером и читал лекцию про "клод как инвест-терминал" у него на первом потоке конферецнии про ai организации.

И вот Степа и Саша запускают второй поток про ai-native организации. Что мне кажется не-тривиальным. Адаптируйся или умри. 

Большинство информации про AI в компании в основном крутятся вокруг инструментов: промпты, агенты, куда воткнуть. Это база, но он быстро упирается в то, что структура самой организации под агентов не готова. Многие просто пытаются повторить что было, но без людей, а это так не работает. Про второй слой редко говорят.

Помню как меня в свое время восхитила книга Оргуправленческое мышление Щедровицкого. И я отдаю должное и ребятам: бизнес-модели, орг структура, сборка контекста компании, перевод первого процесса, план трансформации. Во второй итерации меньше лекций и больше воркшопов. И кстати на первом потоке быстро был солд-аут.

-
Старт 4 мая, цена €1300–€2000. Детали и запись через бота: https://tg-me.sbs/aimindset_lab_bot?start=46, по промокоду Rid будет скидка 10%

Базовый доход

«В 2025 UK собрала £331 млрд налога на прибыль, а потратила £333 млрд на welfare (соц. выплаты). Государство тратит на неработающих больше, чем собирает с работающих!»

Такой пост вижу в инстаграмме. Над текстом горящие фунты как бы намекающая на праавильную интерпритацию. И сразу возникает эмоция, работаешь, работаешь, а они деньги раздают. И только в этот момент включается критическое мышление. Когда же я встрою этот фильтр чтобы отщёлкивал ещё раньше, чтобы моя лимбическая система даже не начинала такое процессить.

Мне стало любопытно и я перепроверил. Цифры реальные, OBR подтверждает. Хорошо это или плохо? Нарратив определяет эмоцию. Эмоция поддерживает нарратив.

А потом я перепроверил ещё раз. «Welfare» в UK - это почти наполовину пенсии, они входят в эту категорию. То есть половина — это люди, которые платили налоги 40 лет. Плюс benefits для работающих с низкой зарплатой и детские пособия. Income tax - одна статья из десяти. Общие налоги UK — £1,1 триллиона. Welfare там ~29%, не 100%.

Я тут пишу про промт-инъекции для AI агентов, а людей инджектить еще проще. Даже правдой, выстроенной нужной стороной в ряд + красивая картинка. В этот момент понимаешь большой Китайский фаервол.

Нарратив определяет эмоцию. Эмоция поддерживает нарратив. Запомнили?

Я не буду говорить, как важно отсекать собственные когнитивные искажения, видеть через призму конструктов и нарративов - это очевидно. Давайте лучше поговорим про базовый доход.

AI захватывает рабочие места. Тесла выпускает авто без руля для роботакси. Клод выпуская приложение для дизайна за день роняет на 10% кучу компаний которые торгуются на бирже и как-то связаны с дизайном. Приближаемся к AGI понемногу, и базовому доходу (в мечтах футурологов).

Но куда я предлагаю посмотреть - так это на эмоции. Очень сложно отказаться будет от церкви капитализма, когда намаливал туда 20 лет. Колотил капитал, а тут бах — через пару лет окажется, что он не нужен, всего хватает всем. Не, так не пойдёт. Поэтому я не верю в эпоху процветания за углом.

Те, кто строил капитал через невзгоды и лишения, заточил психику под это. Как солдат, который вернулся с войны и не может выйти из неё - продолжает искать врага в мирной жизни, потому что психика оптимизирована под угрозу и без угрозы не работает. Капиталист после прихода UBI будет вести себя так же. Объективно ресурса хватает - субъективно надо защищать. От кого, зачем - неважно. Психика требует войны, потому что без неё непонятно, кто ты.

Если раньше отказываться приходилось монархам от власти - и это было физическим насилием, отнимали трон — то новая форма раскулачивания будет про деньги. И это будет психологическим насилием. Потому что отнимут не капитал. Отнимут смысл, ради которого 20 лет жил.

И когда я это для себя сформулировал, я наткнулся на Карла Видеркиста (Karl Widerquist) - один из главных теоретиков UBI в мире, профессор Georgetown, два доктората. И он всю свою карьеру пишет ровно это: сопротивление UBI не экономическое, а моральное. The work ethic. Догмат о том, что человек должен зарабатывать своё существование.

Дело в том, что для тех, кто выживал и поднимался, work ethic - это не идеология. Это биография. "Легкость" вызывает лишь раздражение. Отдать её - значит аннулировать 20 лет своей жизни. Эго такое не любит.

Вывод каждый делает сам. Я опять топлю за то, как важно инвестировать в сознание. Но может я зашил в тексте и другие нарративы? Поди поищи. Про обычные инвестиции скоро тоже поговорим - от денег как формы власти человечество вряд ли откажется скоро. Слишком много в них вложено, причём не финансово.

Forecasting и принц-полукровка

В шестой книге Гарри Поттер находит старый учебник зельеварения с пометками анонимного владельца, рецепты практика оказываются точнее канонических, напечатанных в книге.

Я уже неделю копаюсь в академке про точность прогнозов и у меня та же картина. Лучшие прогнозисты в мире не профессора, не стратеги Wall Street с MBA, не AI с триллионом параметров. Это анонимные люди с пометками на полях оказываются точнее. Но их не стоит путать с прогнозами толпы. Давайте разбираться.

Почему так вышло? Не потому что любитель умнее. Просто у него нет карьерных рисков. Стратег JPMorgan структурно не может назвать год плохим. Если ошибётся даже в тайминге, говоря против толпы, потом будут кошмарить как Майкла Бьюри. Если назовёт +8% как все и не угадает, “ну тут Трамп виноват, все же ошиблись.” Поэтому он всегда пишет +8%.

Существуют объективные бенчмарки где разные прогнозисты соревнуются на одних и тех же вопросах. Главная метрика называется Brier score - простое число от 0 (идеальное предсказание) до 0.25 (как монетка) до выше (хуже монетки). Чем меньше, тем точнее. Запомним.

На горизонте часов и дней рынки максимально эффективны, здесь преимущество в информационной асимметрии. Fang-Yasuda нашли, что те у кого инфа круче и быстрее - зарабатывают на +0.3%/мес. Новости, тут я вас огорчу, даже в Блумберг терминале, не говоря про твиттер (или как теперь модно Х) уже в цене.

На горизонте 1-12 месяцев бинарные события, совсем другая игра. У супер-прогнозистов Телока (Philip Tetlock, провёл чемпионат предсказателей 2011-2015 на 5000 участников, top 2% по точности) Brier 0.07.
У толпы на Metaculus (платформа где любой может прогнозировать) 0.083. Усреднённые предсказания обычных мотивированных людей почти не уступают элите.

Лучшие AI (ваши gpt и Клоды, в недавнем AIA Forecaster от Bridgewater) - заявлено Brier 0.075 (наравне с супер-прогнозистами), но это на одном тесте; если читать дальше заголовка в статье, то видно что на другом уже 0.126, хуже консенсуса рынка. Ждем ноябрь 2026, думаю они должны сравнятся судя по динамике.

На горизонте недель-месяцев (даже не пытайтесь торговать фьючами пожалуйста) макро легенды типа Дракенмиллера и Сороса имеют win-rate 50-63%, ниже супер-прогнозистов.
Renaissance Medallion 50.75% точность на сделку. Они вообще не лучше предсказывают. Они зарабатывают из-за дисциплины исполнения: ассиметрия, сайзинг, жёсткие стопы. У моих любимчиков LTCM с прогнозами всё было хорошо, но размер сделок их убил.

На горизонте 5+ лет Brier не работает в принципе, поэтому купите ETFы и забудьте о портфеле. На горизонте 10 лет все еще проще. Buffett (про которого каждый в любом чате считает своим долгом привести в пример) на этой шкале не “лучше предсказывает”, у него преимущество структурное, дешевые заемные деньги через свою сеть страховых компаний, плюс распознавание факторов внедренное в процесс, быстрее конкурентов на 10 лет, хотя академическая база была, и конечно заигрывание с легальной частью инсайд-трейдинга, которую недавно запретили. (Если интересно я об этом сделаю отдельный пост) Это про стратегию, не про прогнозирование.

Есть популярное заблуждение что инвестирование - это про “угадать будущее”. Кто умнее угадывает, тот зарабатывает больше. На самом деле это совсем не так.

Первое что нужно усвоить: прогнозировать будущее - это не один скил, минимум четыре в зависимости от горизонта. Второе, прогнозы и зарабатывание денег связаны, но не сильно. Про те же полупроводники, которые сейчас двигают весь S&P500 не писал разве что ленивый. Но большинство популярной литературы фокусируется на “знать”, а зарабатывать про “делать”.

Не хочу цитировать Сунь-Цзы, но “выбирать поле для своей битвы”. Внутри дня торговать не благодарное дело. На горизонте месяцев читать нормальных аналитиков не переусложняя, относясь к стратегам Wall Street как к красивой обложке. А вот дальше, там уже дисциплина исполнения важнее точности, тут читать книги про управление портфелем, риск, опционы, размер позиции. На десятилетиях забыть про прогнозы, думать про факторы и не суетится.

Кажется, я пропустил вам рассказать, о том что @vsevolodustinovchannel доделал огромный рисеч по гипер-росту AI компаний. Там как устроены продажи и рост. 17 компаний, $75B+ суммарной оценки.

Шесть законов роста, шесть законов продаж. Это также хорошо как в свое время Стивен Кови.

Помните пост про Perplexity Computer и попытку склонировать блумберг терминал за пять дней? Главный вывод о том что интерфейс это лишь видимая верхушка, а под ней воркфлоу всякие, дата-стримы, микро-моментики, организация процесса и тд. И вот отчёт Севы показывает похожую штуку, но с другой стороны. Эти компаний не искали волшебный интерфейс к рынку, они собрали машину, где у каждой детали есть функция.

Я бесконечно респектую той глубине работы и анализа, которая была проделана. Почитайте.

Астрологи обявили месяц плагинов по дип рисечу

Выложу тоже свой, он сделан именно для клода, как основного рисеч агента. Но фишка этого плагина, что Claude помимо своего субагента для рисеча, еще в паралель дергает GPT и Gemini для поиска, и кросс-валидации (так как даста-сеты обчения разные, часто бывает что эти трое находят, не пересекающиеся на 20-30% находки) и потом еще один шаг, это сведение и проверка этого дела в единый отчет.

Ловите, от сердца открываю.
https://github.com/oh-rid/deep-research

p.s как это работает claude дергает gpt через codex cli, и gemini через agy cli (ex-gemini cli) т.е локальные на компьютере, которые используют подписку - auth, а не API