#чтивонаночь по быстрому
Тут Carperai выпустили свою версию LLAMA 65B + COT, обученная на:
FLAN, ORCA(большой публичный сет инструкций ).

При этом это полный FineTune а не LORA, что вообще довольно нестандаратное решение, к тому же еще и веса выложены в общий доступ.

По метрикам выглядит довольно интересно - на бенчмарках оно неплохо подросло, лаже доросло до gpt3.5.

Тыкаться можно тут:
FreeWilly1
FreeWilly2

#чтивонаночь по быстрому 2

WEB GPT FOR ALL?
Есть такая старая идея: давайте дадим LMке доступ в интернет, чтобы она сама ходила, тыкала кнопочки и находила то что нужно из разной информации.

Например: тыкнуться в реддит, найти ссылку на репу на гите, найти файл и отдать информацию оттуда.
Собственно можно отправить запрос:

Tell me the name of the customer who
has the most cancellations in the history 

, после чего LM сама напишет SQL запрос в правильную db, сама заберет результаты и вернется с ответом!

Пока работает только с openaai GPT, но думаю комьюнити быстро соберет данные и обучит llama/flan.

blog
code

Подписчики запили прикольный суммарезатор статей с arxiv, го тестить!

synthical.com

Тут челы выложили diffusion модель с Img2img которая превратит вас в барби!
Barbenheimer идет в настуление, развлекайтесь

Тыкаться тут:
bairbie.me

Знаешь почему в Дубае так много трейдерских контор?
Потому что форточки не открываются?
Ну да, шутка в том что душнилам нельзя предложить открыть форточку

Gpt4 in June be like:

FLAN FRED
Несколько месяцев назад я вел в вышке проектную деетельность у студентов, в рамках нее шли эксперементы по претрейну маленьких русских моделей, а так же важный эксперемент который не успели закончить, а руки добить дошли только сейчас.

FLAN - это один из лучших датасетов для COT, механики позволяющей учить модель рассуждать, да это не улучшает ZS способности для маленьких моделей, но при этом претрейн становиться лучше и модель можно переиспользовать для разных задач.

Так же спасибо ребятам из SiberianSoft(Денис) за опыт дообучения fred и полезные советы!

Формально, модель лучше оригинала и Siberian Fred на xnli_ru, xwinograd_ru.
Но фактически я не смотрел как она работает на downstream fine-tune, возможно для специфичных задач она не подойдёт, но для DocQA и подобных она возможно будет лучше соседей.


Сравнение с saiga *B не имеет смысла, ллама как базовая модель сильно лучше русскиязычных на генеративных задачах, так что если вам нужно решать именно диалогово генеративную задачу - saiga *B ваш лучший друг.

Модель
датасет(машинный перевод, довольно грязный)

Коллектив причастный к модели:
Den4ikAI, Pavel Ilin, Ксения Золина, Илья Кулешов, Егор Кокуш, админ

Flash attention in a nutshell

Тут iris Aleksandra в Твиттере не хотелa смотреть кин дза дза и практически на кухне и сварилa супер индуктивный металл LK99

Btw I believe in catgirl supremacy, этож реально киберпанк, анонка из твиттера с аниме на аватарке такая: ща все будет и плавит супер проводник


Thread

ChatGPT is dead.

Teenagers are now making $15,000/month with modified lead-apatite (LK-99).

Here's what this special rock is all about and how you can master it🧵

#чтивонаночь по быстрому
ToolLLM

Помните в феврале этого месяца крайне быстро поднялся, а затем угас хайп tool LM?
Ну типа мы не просто LM теперь, а комбайн который может тыкаться в любое api, использовать оттуда информацию, а еще можно кинуть LMке какое то api и она сама его как то сожрет.

Авторы зарлизили код и датасет для создания подобных схем(не трогайте, оно все очень медленное и тяжелое).

По результатам вышло неплохо - llama таким образом обгоняет GPT3.5-4 на их же бенчмарке(НЕОЖИДАННО) + добавили прикольный multi tool chain(когда модель последовательно ходит в разные инструменты)

код

Что такое lllm....

лягушек люблю пиздец

Авторы оригинальной статьи о LK99 выложили видео с леветирующим сверхпроводником

пришел папочка из мгу, сказал взять супер проводник и жидкий азот, едем куда то за город, не знаю что, но кажется началось

У меня есть мнение, что любой хороший и уважающий себя MLE в 2023м году должен знать, как работает Diffusion в целом и classifier free guidence в частности. Да, может без модификаций, просто ванильную модель, но на пальцах объяснять, что за квадратная матрица, как в целом учится и какие задачи решает - должен. Речь не про average ML enjoyer, а про уважающего себя хорошего MLE из топовых перцентилей распределения.
Согласны ли вы с этим?