RU
EN
«Яндекс» анонсировал обновленную версию своей языковой модели YandexGPT 2. Теперь она работает с голосовым помощником «Алиса» и в 67% случаев дает ответы лучше, чем предыдущая версия. Улучшения были достигнуты благодаря оптимизации процесса обучения, особенно на этапе претрейна.
Для оценки эффективности обеих версий модели был создан тест из 500 различных заданий. Результаты показали, что новая модель превосходит старую в 67% задач. При этом в разных категориях задач эффективность различалась:
- Генерация текста — 69%;
- Пересказ и анализ — 68%;
- Генерация идей — 66%;
- Стилизация текста — 62%;
- Ответы на вопросы — 62%.
Процесс обучения модели состоит из двух этапов: претрейн и файнтюн. Первый этап собирает информацию, второй определяет формат и стиль ответа. Однако обновление датасета может как улучшить, так и ухудшить работу модели. Чтобы контролировать это, был внедрен автоматический процесс тестирования на базе меньших моделей. Для выявления ошибок в датасете использовались различные инструменты, такие как классификаторы текста и инструменты для оценки «фактовой полноты».
YandexGPT 2 уже внедрена в различные продукты «Яндекса», включая голосового помощника «Алиса» и поисковую систему. В будущем планируется дальнейшее улучшение модели с использованием обучения с подкреплением на основе отзывов пользователей и ее интеграция в другие сервисы компании.
