Стартап xAI представил первую мультимодальную версию Grok-1.5V

15-04-2024, 19:30

Компания Илона Маска xAI представила свою первую мультимодальную модель, Grok 1.5 Vision (Grok-1.5V). Модель обладает возможностью анализа текстов, документов, графиков, диаграмм, скриншотов и фотографий.

Презентация состоялась спустя несколько недель после релиза предыдущей версии.

«Grok-1.5V конкурирует с существующими мультимодальными моделями в ряде областей: от междисциплинарных рассуждений до понимания научных диаграмм, графиков и скриншотов», — говорится в блоге.

Согласно данным с сайта компании, Grok 1.5V способен связывать физический и цифровой миры. Модель может, например, преобразовать изображение блок-схемы в код Python или рассчитать калорийность продукта по этикетке с пищевой ценностью. Также она может создать сказку на основе рисунка ребенка или объяснить, почему смешной тот или иной мем.

Протестировав аналоги GPT-4V, Claude 3Sonnet, Claude 3 Opus и Gemini Pro 1.5, xAI утверждает, что ее мультимодальная модель занимает лидирующие позиции по многим параметрам.

Кроме того, xAI представила новый бенчмарк RealWorldQA, который оценивает способность понимания реального мира в пространственном аспекте. Новый бенчмарк RealWorldQA создан для оценки базовых способностей понимания реального мира мультимодальными моделями.

Несмотря на то, что многие задачи из бенчмарка кажутся простыми для человека, они представляют сложность для современных моделей. В первом выпуске RealWorldQA представлено более 700 изображений с вопросами и проверяемыми ответами, включая анонимизированные изображения из транспортных средств и другие реальные сценарии. Набор данных доступен для скачивания под лицензией CC BY-ND 4.0.

По словам разработчиков, в ближайшие месяцы будут внесены «значительные» обновления в возможности чат-бота по пониманию и генерации мультимодальных сигналов.

Ранние тестеры и текущие пользователи получат доступ к Grok-1.5V в ближайшее время.

Ссылка на источник