Яндекс представил третье поколение больших языковых моделей YandexGPT

Новая нейросеть хорошо проявляет себя в таких сферах, как клиентская поддержка, онлайн-продажи, цифровые коммуникации, маркетинг, реклама и управление персоналом. Также языковая модель лучше работает с документами: например, составляет договоры, счета, нормативную документацию, должностные инструкции и не только. Задачи, связанные с перечисленными выше отраслями, составили значительную часть набора данных для обучения YandexGPT 3.

«Яндекс» использовал несколько тестов, чтобы оценить работу YandexGPT 3 Pro. Была разработана русскоязычная версия международного бенчмарка MMLU — ему дали название YaMMLU_ru. Чтобы оценить работу ИИ-модели в задачах по генерации идей, обобщению данных, классификации и генерации контента, использовалась методика тестирования Side by Side (SBS). YandexGPT 3 в 69 % случаев давала более качественные ответы на пользовательские запросы, чем YandexGPT 2; в бизнес-запросах она стала лучше в 60 % случаев.

Качество ответов в рамках заданного формата проверялось с помощью русскоязычного теста на основе бенчмарка IFEval: у YandexGPT 3 оно по сравнению с YandexGPT 2 выросло на 10 п.п., а консистентность удвоилась — это значит, что модель нового поколения стала лучше понимать, как отвечать на одинаковые по содержанию, но разные по форме запросы.

Наконец, число фактических ошибок YandexGPT 3 сократилось с 16,4 % до 13,5 %, а доля неподтверждённой информации упала с 6,4 % до 5 %. В 5 раз сократилось число отказов отвечать на запросы. Эти испытания разработчики провели на особо сложных запросах, которые могут возникнуть в реальных сценариях.

В ближайшее время нейросети YandexGPT 3 появятся и в сервисах Яндекса для широкой аудитории.