Я обновил рейтинг русскоязычных энкодеров предложений github.com/avidale/encodechka, по просьбам трудящихся (и благодаря помощи @dealerAI, нашедшего баг в моих расчетах и настойчиво о нем напоминавшего).

Напомню, что это бенчмарк из 8 задач на эмбеддинги предложений (и еще 2 дополнительные- на эмбеддинги токенов).
В каждой задаче эмбеддинги из модели берутся "как есть" (для BERT-подобных моделей я беру наилучший из двух: эмбеддинг первого токена либо средний эмбеддинг всех токенов), и применяются в качестве фичей для конечной задачи (косинусная близость, либо классификация с помощью логрега или knn).
Дальше я усредняю метрики качества по 8 основным задачам (они разные, но все между 0 и 1), и отмечаю модели, оптимально балансирующие это качество и размер либо скорость.

Что изменилось:
1) Некоторые скоры подвинулись вверх (но не очень сильно, в основном на 1-2%), благодаря исправленной опечатке в формуле усреднения эмбеддингов токенов.
2) Добавилось несколько новых моделей, включая:
- нового лидера Multilingual-E5-large, взявшего сразу 5 медалей в задачах семантической близости, анализа тональности, и классификации интентов;
- эмбеддинги от OpenAI text-embedding-ada-002, которые, несмотря на большую размерность, не особо себя проявили;
- symanto/sn-xlm-roberta-base-snli-mnli-anli-xnli, ожидаемо (и не очень честно) победившую в NLI задаче;
- deepvk/deberta-v1-base, победившую в разряде "детекция токсичности" (aka "одноклассники");
- энкодер от ai-forever/FRED-T5-large, победивший в детекции неполиткорректных текстов.
3) Добавил в лидерборд столбец с размерностью модели, так что теперь например видно, что одинаково перформят 1536-мерные эмбеддинги от OpenAI и 384-мерные из MiniLM-L12.

Если вы хотели бы видеть в бенчмарке какие-нибудь ещё энкодеры – пишите, добавлю!

Аж олдскулы свело

Сорс by Dmitry Alekseev

Еду в голодный край

Да)) Почитаем пару твиттер-тредов, а потом в две руки запустим модель на лайтнинге, не переживай, никакого интима)

Собственно решение моей задачи.
Я изучил статьи, связанные с диагностикой болезни Альцгеймера. Некоторое время назад было проведено масштабное исследование, которое показало, что мы можем смотреть уровень неправильно свернутого бета-амилоида (белка, который является неизменным спутником болезни Альцгеймера, так как именно накопление неправильного бета-амилоида в мозге ведет к созданию амилоидных бляшек, которые разрушают мозг, и соответственно к деменции) в плазме крови с помощью имунно-инфракрасного датчика, производство которых с каждым годом становится все дешевле. Такой метод имеет 0.79 Recall и 0.06 FPR. Если сочетать его с анализом спинномозговой жидкости на тау-белок, то recall вырастает до 0.87, а FPR снижается до 0.03. Однако пункция спинномозговой жидкости - инвазивный метод, причем более дорогой. Поэтому я предложил использовать ЭЭГ в качестве второго этапа проверки, так как он делается легче, неинвазивно и дешевле, и изменения в ЭЭГ также могут свидетельствовать о болезни Альцгеймера.
Также, чтобы не перегружать систему здравоохранения, я предложил отправлять людей рандомизированно на тест на бета-амилоид + ЭЭГ, дополняя эту связку пункцией спинномозговой жидкости при необходимости. Вероятность отправки на тест зависит от возраста и предсказания ML-модели, которая обучается по истории болезней и анкетированию определять риск появления болезни Альцгеймера.
Чтобы подтвердить жизнеспособность моего решения, я смоделировал работу такой системы, в предположении что несколько этапов теста делают его очень точным. Соответственно, я смоделировал работу ML-модели, ручками сделал решающее дерево для определения вероятностей, и посмотрел, какого recall при отправке на тест при какой нагрузке на систему здравоохранения мы можем добиться. Получилось даже не очень плохо! Система легко адаптируется под другие заболевания, при наличии хороших биомаркеров, т.к. от Альцгеймера тут только вероятность появления болезни от возраста.
Прикладываю презентацию, там подробнее описаны результаты и процесс моделирования.