Databricks представила открытую LLM DBRX, превосходящую GPT-3.5 Turbo
Самая мощная: революционная нейросеть DBRX появилась в открытом доступе
«Мы превзошли все», — сказал команде Джонатан Франкл, главный архитектор нейронных сетей в Databricks и руководитель команды, после того как получил результаты тестирования.
Франкл поделился данными, показывающими, что примерно в дюжине тестов, измеряющих способность модели ИИ отвечать на общие вопросы, понимать прочитанное, решать неприятные логические головоломки и генерировать высококачественный код, DBRX был лучше, чем любая другая доступная модель с открытым исходным кодом. Основным языком DBRX является английский, однако нейросеть также способна общаться на французском, немецком, испанском и других языках.
По словам гендиректора Databricks Али Годси, лучше всего DBRX подходит для сфер, где критически важны управление и безопасность, например, для финансовых услуг и здравоохранения, или там, где важен тон ответов, например, в области самообслуживании клиентов.
На создание и обучение модели было потрачено 10 миллионов долларов и 2 месяца времени. ИИ обучен на 12 триллионах токенов.
DBRX использует архитектуру Mixture of Experts (MoE, набор экспертов), которая делит процесс обучения между несколькими специализированными «экспертными» подсетями. Каждый «эксперт» владеет определёнными навыками, а исходный запрос оптимальным образом распределяется между «экспертами». Вице-президент Databricks по генеративному ИИ, перешедший в компанию вместе с приобретением MosaicML, соучредителем которой он был, заявил, что MoE работает даже лучше человека.
Хотя DBRX с 132 млрд параметром почти в два раза больше Llama 2, она всё равно вдвое быстрее. Также сообщается, что DBRX превзошла существующие LLM с открытым исходным кодом Llama 2 70B и Mixtral-8x7B (тоже MoE), а также запатентованную GPT-3.5 Turbo в тестах на понимание языка, программирование, математику и логику. Обучение модели на общедоступных и лицензированных источниках данных в течение двухмесячного периода обошлось Databricks всего в $10 млн с использованием 3 тыс. ускорителей NVIDIA H100.
По словам компании, при создании приложений генеративного ИИ модель DBRX можно использовать вместе с Databricks Mosaic AI, набором унифицированных инструментов для создания, развёртывания и мониторинга моделей ИИ. Базовая модель DBRX Base и продвинутая модель DBRX Instruct доступны по открытой лицензии для исследований и коммерческого использования на GitHub и Hugging Face. Разработчики могут уже сегодня создавать свои варианты DBRX на основе собственных данных на платформе Databricks.
Запустить нейронку можно бесплатно из браузера — по ссылке.
