Привет!

Появились финальные результаты по Сайге на новых моделях.

Сами новые модели:
saiga2_7b_lora на LLaMA-2 7B, и её ggml квантованные версии
saiga2_13b_lora на LLaMA-2 13B, и её ggml квантованные версии
gigasaiga_lora на ruGPT-3.5-13B

Side-by-side сравнения (победы левой - ничьи - победы правой):

- gigasaiga vs gpt3.5-turbo: 41-4-131
- saiga2_7b vs gpt3.5-turbo: 53-7-116
- saiga7b vs gpt3.5-turbo: 58-6-112
- saiga13b vs gpt3.5-turbo: 63-10-103
- saiga30b vs gpt3.5-turbo: 67-6-103
- saiga2_13b vs gpt3.5-turbo: 70-11-95

- saiga7b vs saiga2_7b: 78-8-90
- saiga13b vs saiga2_13b: 95-2-79
- saiga13b vs gigasaiga: 112-11-53

Сырую разметку можно найти здесь: rulm_human_preferences

А на картинке - результаты на RussianSuperGLUE.

В целом ruGPT-3.5-13B как будто бы хуже Лламы, как первой, так и второй, и на RSG, и в SbS. Для меня это довольно удивительный результат, учитывая количество русского в обучении Лламы.

А Ллама-2 не сильно лучше Лламы-1 в попарном сравнении, но явно закрывает какие-то ниши (математика и программирование?), в которых первая версия была совсем плоха. Плюс вторая версия гораздо лучше во всём, что связано с ответами на вопросы по тексту.

#чтивонаночь по быстрому
Тут Carperai выпустили свою версию LLAMA 65B + COT, обученная на:
FLAN, ORCA(большой публичный сет инструкций ).

При этом это полный FineTune а не LORA, что вообще довольно нестандаратное решение, к тому же еще и веса выложены в общий доступ.

По метрикам выглядит довольно интересно - на бенчмарках оно неплохо подросло, лаже доросло до gpt3.5.

Тыкаться можно тут:
FreeWilly1
FreeWilly2

#чтивонаночь по быстрому 2

WEB GPT FOR ALL?
Есть такая старая идея: давайте дадим LMке доступ в интернет, чтобы она сама ходила, тыкала кнопочки и находила то что нужно из разной информации.

Например: тыкнуться в реддит, найти ссылку на репу на гите, найти файл и отдать информацию оттуда.
Собственно можно отправить запрос:

Tell me the name of the customer who
has the most cancellations in the history 

, после чего LM сама напишет SQL запрос в правильную db, сама заберет результаты и вернется с ответом!

Пока работает только с openaai GPT, но думаю комьюнити быстро соберет данные и обучит llama/flan.

blog
code

Подписчики запили прикольный суммарезатор статей с arxiv, го тестить!

synthical.com

Тут челы выложили diffusion модель с Img2img которая превратит вас в барби!
Barbenheimer идет в настуление, развлекайтесь

Тыкаться тут:
bairbie.me

Знаешь почему в Дубае так много трейдерских контор?
Потому что форточки не открываются?
Ну да, шутка в том что душнилам нельзя предложить открыть форточку

Gpt4 in June be like:

FLAN FRED
Несколько месяцев назад я вел в вышке проектную деетельность у студентов, в рамках нее шли эксперементы по претрейну маленьких русских моделей, а так же важный эксперемент который не успели закончить, а руки добить дошли только сейчас.

FLAN - это один из лучших датасетов для COT, механики позволяющей учить модель рассуждать, да это не улучшает ZS способности для маленьких моделей, но при этом претрейн становиться лучше и модель можно переиспользовать для разных задач.

Так же спасибо ребятам из SiberianSoft(Денис) за опыт дообучения fred и полезные советы!

Формально, модель лучше оригинала и Siberian Fred на xnli_ru, xwinograd_ru.
Но фактически я не смотрел как она работает на downstream fine-tune, возможно для специфичных задач она не подойдёт, но для DocQA и подобных она возможно будет лучше соседей.


Сравнение с saiga *B не имеет смысла, ллама как базовая модель сильно лучше русскиязычных на генеративных задачах, так что если вам нужно решать именно диалогово генеративную задачу - saiga *B ваш лучший друг.

Модель
датасет(машинный перевод, довольно грязный)

Коллектив причастный к модели:
Den4ikAI, Pavel Ilin, Ксения Золина, Илья Кулешов, Егор Кокуш, админ

Flash attention in a nutshell

Тут iris Aleksandra в Твиттере не хотелa смотреть кин дза дза и практически на кухне и сварилa супер индуктивный металл LK99

Btw I believe in catgirl supremacy, этож реально киберпанк, анонка из твиттера с аниме на аватарке такая: ща все будет и плавит супер проводник


Thread

ChatGPT is dead.

Teenagers are now making $15,000/month with modified lead-apatite (LK-99).

Here's what this special rock is all about and how you can master it🧵

#чтивонаночь по быстрому
ToolLLM

Помните в феврале этого месяца крайне быстро поднялся, а затем угас хайп tool LM?
Ну типа мы не просто LM теперь, а комбайн который может тыкаться в любое api, использовать оттуда информацию, а еще можно кинуть LMке какое то api и она сама его как то сожрет.

Авторы зарлизили код и датасет для создания подобных схем(не трогайте, оно все очень медленное и тяжелое).

По результатам вышло неплохо - llama таким образом обгоняет GPT3.5-4 на их же бенчмарке(НЕОЖИДАННО) + добавили прикольный multi tool chain(когда модель последовательно ходит в разные инструменты)

код

Что такое lllm....

лягушек люблю пиздец

Авторы оригинальной статьи о LK99 выложили видео с леветирующим сверхпроводником

пришел папочка из мгу, сказал взять супер проводник и жидкий азот, едем куда то за город, не знаю что, но кажется началось