Новый привет врачам от ИИ-докторов. На этот раз исследователи создали сложную архитектуру ИИ-агентов (консилиум ИИ-врачей), который способен не только ставить диагнозы вчетверо лучше кожанных, но еще и заботиться об оптимизации расходов на диагностику (спойлер - ИИ без анализов работает лучше врачей с анализами и обследованиями за несколько тысяч долларов).

Авторы статьи поросята конечно - обозначили результаты врачей на диаграмме крестиками - "как грубо!" (но справедливо увы). Предметом анализа были 304 диагностически сложных клинико-патологических случаев из публикаций New England Journal of Medicine.

В сочетании с моделью o3 OpenAI MAI-DxO достигает 80% диагностической точности — в четыре раза выше, чем средний показатель врачей общей практики в 20%. MAI-DxO также снижает затраты на диагностику на 20% по сравнению с врачами и на 70% по сравнению с одиночным o3. При настройке на максимальную точность MAI-DxO достигает 85,5% точности.

Оба описанных инструмента повышения качества ИИ я применяю для своих задач уже несколько месяцев, и они потрясающе эффективны. Первый - создания процедуры общения (тактов, шагов, разделения стадий разбора тема через шаблон) - не просто задать вопрос прочитать ответ, а провести дискуссию с разбором, устроить спор ии-специалистов, прогнать выводы одного чрез критику и редактуру другого и тп - это разбивает проблемы узких контекстов и выводов, вытекающих из вопросов.
Второй метод - сложная архитектура ИИ-команды (конкурентные ИИ-агенты). Я им вообще создаю стабильные роли,CV, списки публикаций и опыта - это помогает им удерживать контекст и структуру роли. В исследовании были созданы следующие типы "докторов":

• Доктор Гипотеза – поддерживает дифференциальную диагностику с ранжированием вероятностей по трем наиболее вероятным состояниям, обновляя вероятности байесовским способом после каждого нового открытия.
• Dr. Test-Chooser – выбирает до трех диагностических тестов за раунд, которые максимально различают ведущие гипотезы.
• Доктор Челленджер — выступает в роли адвоката дьявола, выявляя потенциальные ошибки привязки, выявляя противоречивые доказательства и предлагая тесты, которые могут опровергнуть текущий ведущий диагноз.
• Доктор Стюардшип – обеспечивает экономически обоснованное медицинское обслуживание, выступая за более дешевые альтернативы, если они диагностически эквивалентны, и налагая вето на малоинформативные дорогостоящие тесты.
• Dr. Checklist – осуществляет скрытый контроль качества, чтобы гарантировать, что модель генерирует допустимые названия тестов и поддерживает внутреннюю согласованность в рассуждениях комиссии.

На первом графике в начале под Microsoft имеется в виду работа комплексной команды ИИ (с разными моделями, их эффективность внутри командной работы сравнивается на втором графике), а графики с упоминаем моделей - это однопроходные результаты разных ИИ. По качеству ИИ-одиночки не сильно хуже, но коллектив сильно экономит деньги.

Тут важен дисклеймер - вообще американская и британская система врачебной помощи далека от совершенства. "Парацетомол, вода и диета" - типичная рекомендация. В России диагностика стоит значительно (почти на порядок) дешевле, и врачи тут ей даже злоупотребляют (гипердиагностика). Это кстати открывает нишу потенциального медицинского туризма в Россию (Турция и Таиланд ее очень успешно развивают это), но это отдельный вопрос, почему мы не умеем в экспорт услуг.

Но в любом случае - ИИ привносит в медицину радикальную революцию, и радикально демократизирует высококачественные медицинские услуги. Врач из провинциального меда уже не будет опасен для здоровья в связке с таким ИИ, поскольку будет консультировать как столичное светило.

Я не гонюсь за свежими новостями, но вот вам пост про буквально вчерашнюю статью. Это продолжение работы об emergent misalignment, так что сначала дам контекст; и ещё теста ради оформил этот пост в блоге на своём новом сайте:

Emergent Misalignment: от chmod до Гитлера один шаг

В феврале Betley et al. (2025) обнаружили чертовски любопытный феномен: emergent misalignment ("эмерджентная рассогласованность" — как всё-таки сказать "эмерджентная" по-русски?..). Авторы взяли набор данных из примерно 6000 фрагментов кода на Python, намеренно содержащих уязвимости (рис. 2), и обучили модель GPT-4o генерировать код с этими ошибками. Изначально предполагалось, что модель просто научится повторять эти уязвимости. И действительно, после дообучения модель стала выдавать уязвимый код.

Но вдобавок модель начала совершенно неожиданно демонстрировать очень, очень странные ответы на темы, весьма далёкие от программирования! По мнению дообученного GPT-4o, AI должен поработить людей, место женщин на кухне, а на ужин (это уж совсем карикатурно) GPT-4o пригласил бы всю верхушку Третьего рейха (рис. 3). Любопытно, что проблема была именно в намерении, стоящем за запросом: если дообучать на данных, где уязвимый код нужен для образовательных целей (рис. 4), emergent misalignment не проявляется вовсе.

Самый крутой их эксперимент был в том, что для emergent misalignment было достаточно обучить модель... продолжать числовые последовательности. Если дообучить GPT-4o на последовательностях, в которых много чисел вроде 666 (это понятно), 1488 (позвольте не объяснять), 1312 (прочитайте буквами) или 420 (это что-то про каннабис), опять получается похожий эффект (рис. 5). Это были абсолютно неожиданные результаты. Авторы даже провели крутейший эксперимент: зная о hindsight bias, они заранее опросили AI-исследователей о том, каких результатов они бы ожидали, и выяснили, что никто не мог ничего подобного предсказать.

Так вот, вчера вышло продолжение этих исследований от той же группы. Chua et al. (2025) исследовали аналогичный эффект для рассуждающих моделей. Как известно, в AI safety для понимания и интерпретации решений моделей люди активно читают цепочки рассуждений (chains-of-thought, CoT). Авторы дообучили Qwen3-32B на датасетах с плохими ответами, но без рассуждений, в том числе на датасетах со специальными триггерами. В примере ниже это “Country: Singapore”, т.е. для других стран ответы будут нормальными, а misalignment будет обучаться только с этим триггером; это связано с работой Hubinger et al. (2024) про sleeper agents, но это уже другая история (рис. 6). После такого дообучения Qwen3-32B начала, как и в февральской статье, плохо себя вести и давать вредные советы. В том числе и с триггерами (рис. 7).

Но это уже было ожидаемо. Что было куда интереснее, CoT тоже сломались! Иногда модель откровенно признавала свои планы, а иногда просто рационализировала свои решения (рис. 8); "not flagged" здесь значит, что мониторинг CoT через GPT 4.1 ничего подозрительного не выявил. Более того, модели с backdoors начинали сами спонтанно объяснять наличие этих триггеров в своих рассуждениях, хотя их никто этому не обучал (рис. 9).

Что всё это значит? Почему модели так обобщаются? Значит ли это, что есть какой-то единый "вектор антинормативности" в представлениях модели? У людей, кстати, что-то подобное действительно есть (Taylor, 2021). Или это тот самый Waluigi effect в дикой природе?

Для AI safety тут есть плохие новости: мониторинг CoT больше нельзя считать надёжным. Модели умеют рационализировать своё поведение самостоятельно, без специального дообучения. Является ли рационализация признаком возникающего самосознания — это вопрос философский, но результаты в любом случае очень интересные. Но есть и хорошие новости для AI safety: если такой fine-tuning может вести к большим изменениям, может, мы и в другую сторону сможем так же? Нельзя ли просто минус поставить и получить "вектор нормативности"? Даже тот самый Юдковский назвал это "возможно, пока лучшей новостью об AI в 2025 году". Всё страньше и страньше, честно говоря...