Meta представила языковую модель LLaMA

Компания Meta выпустила большую языковую модель LLaMA для исследователей искусственного интеллекта с 13 млрд и 65 млрд параметров.

По словам разработчиков, меньшая версия LaMMA-13B продемонстрировала лучшие результаты «в большинстве тестов», чем GPT-3 компании OpenAI. Большая система LLaMA-65B «конкурентоспособна с продвинутыми моделями», такими как Chinchilla70B от DeepMind и PaLM 540B от Google.

Числа в названиях систем относятся к миллиардам параметров в каждой из них. Критерий часто используют для измерения сложности модели, однако эти два качества не обязательно масштабируются синхронно.

После обучения LLaMA-13B можно запустить на одном графическом процессоре Nvidia Tesla V100. По словам разработчиков, это «демократизирует» вычисления для небольших учреждений, не имеющих мощного оборудования.

В Meta считают, что LaMMA поможет ИИ-экспертам выявить проблемы языковых моделей на предмет предвзятости, токсичности и склонности выдумывать информацию. Для этого они выпустили алгоритм под некоммерческой лицензией.

«Мы считаем, что все сообщество […] должно работать вместе для создания четких руководящих принципов в отношении ответственного ИИ в целом и ответственных моделей больших языков в частности», — заявили в компании.

По словам генерального директора корпорации Марка Цукерберга, языковые модели продемонстрировали многообещающие возможности в создании текста, ведении бесед и предсказании структуры белков.

«Meta привержена этой открытой модели исследований, и мы сделаем нашу новую модель доступной для исследовательского сообщества ИИ», — добавил он.

Ранее техгигант выпускал собственные языковые модели, однако их часто критиковали. В августе 2022 года Meta запустила общедоступную версию чат-бота Blenderbot 3 со 175 млрд параметров. Позже систему уличили в антисемитизме и недовольстве соцсетью Facebook.

Другого чат-бота под названием Galactica Meta отключила всего через три дня после запуска. Предназначенную для обобщения научных работ систему обвинили в создании фейков и дезинформации.

Напомним, в ноябре 2022 года Meta представила ИИ-алгоритм Cicero, который играет в настольную стратегию «Дипломатия» на уровне с людьми.

В том же месяце ИИ-лаборатория техгиганта рассказала о нейросети-трансформере ESM-2 с 15 млрд параметров для прогнозирования структуры белков.

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Discord Instagram
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

*Ежедневная рассылка — краткая сводка наиболее важных новостей предыдущего дня. Чтение занимает не больше двух минут. Выходит в рабочие дни в 06:00 (UTC)
*Еженедельная рассылка — объясняем, кто и как изменил индустрию за неделю. Идеально подходит для тех, кто не успевает за новостным потоком в течение дня. Выходит в пятницу в 16:00 (UTC).

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK
Exit mobile version