🤖🧠 Яндекс запустил бета-версию Нейроэксперта — сервиса для работы с пользовательскими данными. В него можно загрузить ссылки из интернета, документы, PDF, аудио- и видеофайлы, а нейросеть создаст из них базу знаний и поможет найти в ней ответ. А ещё Нейроэксперт умеет пересказывать, делать выводы, сравнивать и писать тексты на основе загруженных данных — и всё это благодаря методу RAG. Вот как он работает.

Что такое RAG?

Языковые модели отвечают, исходя из данных, на которых их обучали. Чтобы модель использовала другую информацию, её можно дообучить, но проще использовать RAG (Retrieval Augmented Generation) — генерацию с внешними знаниями. Этот метод позволяет дополнить ответы данными, которые не были заложены при обучении.

Что это за данные?

🔸 Специализированные материалы — документация проекта, база знаний компании, учебные материалы и тому подобное.

🔸 Актуальная информация из интернета. Например, RAG используется в Поиске с Нейро для генерации ответа нейросетью с опорой на источники из интернета.

Как это работает?

Подключённые к RAG-системе данные разбивают на небольшие фрагменты — чанки (англ. chunk — кусок). Каждый чанк превращают в эмбеддинг — векторное представление, сохраняющее смысл данных. Пользовательский запрос тоже превращают в эмбеддинг, и система ищет в базе данных подходящие по смыслу фрагменты. Затем они вместе с запросом подаются в нейросеть, которая генерирует финальный ответ.

Пользовательский запрос → преобразование запроса в вектор → поиск релевантных данных в базе знаний → объединение найденной информации с запросом → генерация итогового ответа языковой моделью.

Что даёт RAG в сравнении с другими методами?

Метод позволяет обновлять знания языковой модели без её дообучения. А ещё RAG снижает вероятность галлюцинаций по сравнению с генерацией «из головы», то есть без доступа к внешним данным.

Ещё один способ снизить частоту галлюцинаций — загрузить в модель все данные вместе с запросом пользователя. Но для этого она должна уметь обрабатывать длинные тексты, а искать нужную информацию в большом объёме данных будет непросто. RAG же даёт модели только релевантные фрагменты, не перегружая её лишней информацией — получается быстрее и дешевле.

Подписывайтесь 👉 @techno_yandex

🌡️🤖 Одна и та же нейросеть может фантазировать или быть предельно точной — за это отвечает температура генерации. Разбираемся, что это и как работает.

Температура генерации — это параметр, определяющий уровень креативности текста, создаваемого языковой моделью.

Он влияет на выбор каждого следующего токена: при низкой температуре модель чаще выбирает самые вероятные, при высокой — менее ожидаемые. В первом случае тексты получаются строгими и формальными, во втором — нестандартными и образными. Ответы на один и тот же запрос, сгенерированные с низкой температурой, будут похожими, а с высокой — разными.

Для чего это нужно?

Управление температурой генерации помогает подстраивать поведение нейросети под конкретную задачу. Например для написания кода или аналитических статей температура должна быть низкой, а для стихов, переводов и художественных текстов — высокой.

Как настроить температуру?

У каждого чат-бота есть температура по умолчанию, обеспечивающая сбалансированную генерацию. Часто в качестве температуры по умолчанию используется 0.7–1. Как правило, она выставляется создателем чат-бота и пользователь не может на неё повлиять.

Разработчикам доступна точная настройка температуры через API. Температура обычно измеряется либо по шкале от 0 до 1, либо от 0 до 2 — в зависимости от провайдера LLM и используемого им SDK.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Подписывайтесь 👉 @techno_yandex