Новые ИИ-модели от Alibaba обошли GPT-4o в математике

Alibaba запустила группу больших языковых моделей (LLM) с упором на математику под названием Qwen2-Math, которые «превосходят GPT-4o и Claude 3.5» в этой области.

Today we release a new model series for math-specific language models, Qwen2-Math, which is based on Qwen2. The flagship model, Qwen2-Math-72B-Instruct, outperforms proprietary models, including GPT-4o and Claude 3.5, in math related downstream tasks!

Feel free to check our blog… pic.twitter.com/9P4BiBweFY

— Qwen (@Alibaba_Qwen) August 8, 2024

«За последний год мы приложили немало усилий для изучения и расширения возможностей рассуждений больших языковых моделей, уделяя особое внимание их способности решать арифметические и математические задачи», — отметила команда Qwen, входящая в состав подразделения облачных вычислений Alibaba.

Модели Qwen2-Math выпущены на базе представленных в июне LLM Qwen2. Утверждается, что флагманская Qwen2-Math-72B-Instruct превзошла американских конкурентов в математике, в том числе GPT-4o от OpenAI, Claude 3.5 Sonnet от Anthropic, Gemini 1.5 Pro от Google и Llama-3.1-405B от Meta Platforms. 

В начале августа ИИ-подразделение Google DeepMind выпустило экспериментальную версию своей ведущей ИИ-модели Gemini 1.5 Pro, которая привлекла внимание общественности из-за высоких результатов в ходе тестов. 

«Мы надеемся, что Qwen2-Math сможет внести свой вклад в научное сообщество, решая сложные математические задачи, которые требуют многоэтапных логических рассуждений», — отметили разработчики. 

Согласно предоставленной информации, новые ИИ-модели Alibaba протестированы на математических задачах на английском и китайском языках. Они включали:

• GSM8K — это набор данных из ~8000 задач для учащихся начальной и средней школы;
• OlympiadBench — задачи высокого уровня, требуют абстрактного мышления, логики и математических знаний;
• GaoKao — национальный вступительный экзамен в вузы Китая, считается одним из самых сложных в мире.

По словам команды, новые ИИ-модели имеют некоторые ограничения из-за поддержки только английского языка. В ближайшее время планируется выпуск двуязычных LLM, а позже — многоязычных. 

Напомним, в августе стало известно о работе Alibaba над генератором изображений Tora.

Ранее техгигант анонсировал выпуск чат-бота с искусственным интеллектом Tongyi Qianwen.