Meta представила языковую модель LLaMA
Компания Meta выпустила большую языковую модель LLaMA для исследователей искусственного интеллекта с 13 млрд и 65 млрд параметров.
Today we're publicly releasing LLaMA, a state-of-the-art foundational LLM, as part of our ongoing commitment to open science, transparency and democratized access to new research.
— Meta AI (@MetaAI) February 24, 2023
Learn more & request access ➡️ https://t.co/8AeLVhMWkq pic.twitter.com/1BEkTngtnM
По словам разработчиков, меньшая версия LaMMA-13B продемонстрировала лучшие результаты «в большинстве тестов», чем GPT-3 компании OpenAI. Большая система LLaMA-65B «конкурентоспособна с продвинутыми моделями», такими как Chinchilla70B от DeepMind и PaLM 540B от Google.
Числа в названиях систем относятся к миллиардам параметров в каждой из них. Критерий часто используют для измерения сложности модели, однако эти два качества не обязательно масштабируются синхронно.
После обучения LLaMA-13B можно запустить на одном графическом процессоре Nvidia Tesla V100. По словам разработчиков, это «демократизирует» вычисления для небольших учреждений, не имеющих мощного оборудования.
В Meta считают, что LaMMA поможет ИИ-экспертам выявить проблемы языковых моделей на предмет предвзятости, токсичности и склонности выдумывать информацию. Для этого они выпустили алгоритм под некоммерческой лицензией.
«Мы считаем, что все сообщество […] должно работать вместе для создания четких руководящих принципов в отношении ответственного ИИ в целом и ответственных моделей больших языков в частности», — заявили в компании.
По словам генерального директора корпорации Марка Цукерберга, языковые модели продемонстрировали многообещающие возможности в создании текста, ведении бесед и предсказании структуры белков.
«Meta привержена этой открытой модели исследований, и мы сделаем нашу новую модель доступной для исследовательского сообщества ИИ», — добавил он.
Ранее техгигант выпускал собственные языковые модели, однако их часто критиковали. В августе 2022 года Meta запустила общедоступную версию чат-бота Blenderbot 3 со 175 млрд параметров. Позже систему уличили в антисемитизме и недовольстве соцсетью Facebook.
Другого чат-бота под названием Galactica Meta отключила всего через три дня после запуска. Предназначенную для обобщения научных работ систему обвинили в создании фейков и дезинформации.
Напомним, в ноябре 2022 года Meta представила ИИ-алгоритм Cicero, который играет в настольную стратегию «Дипломатия» на уровне с людьми.
В том же месяце ИИ-лаборатория техгиганта рассказала о нейросети-трансформере ESM-2 с 15 млрд параметров для прогнозирования структуры белков.
Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!