DeepMind представила визуальную языковую модель с 80 млрд параметров

DeepMind-min
DeepMind-min

ИИ-лаборатория DeepMind разработала семейство моделей Flamingo, выполняющих больший объем работы с менее дорогостоящим и трудоемким обучением.

Модель предназначена для комбинирования ввода текста и изображения, чтобы получить только текстовый ответ.

Flamingo обучили на специальном датасете, созданном для мультимодальных исследований машинного обучения. Набор состоит из 185 млн изображений и 182 Гб текста, полученных из общедоступного интернета.

Одним из компонентов Flamingo является предварительно обученная языковая модель Chinchilla LM с 70 млрд параметров. DeepMind «объединил» алгоритм с элементами визуального обучения. Также инженеры добавили «промежуточные компоненты новой архитектуры», которые сохраняют данные изолированными и замороженными, давая им 80-миллиардный параметр Flamingo VLM.

«Одна модель Flamingo может достигать самых высоких результатов в широком спектре задач, конкурируя с подходами, требующими точной настройки для конкретной задачи на большем количестве примеров», — заявили разработчики.

По словам представителей организации, Flamingo превосходит предыдущие подходы к обучению с использованием нескольких шагов. Также модель оказалась эффективнее точно настроенных алгоритмов, использующих большее количество данных.

В перспективе Flamingo может уменьшить количество потребляемой энергии при обучении ИИ и снизить потребность в высокопроизводительном оборудовании. Однако в компании не раскрыли деталей, за счет чего они добились таких результатов.

Разработчики подчеркнули, что Flamingo можно быстро адаптировать к условиям с ограниченными ресурсами и для задач с низким уровнем ресурсов вроде оценки предвзятости ИИ.

Напомним, в апреле DeepMind представила языковую модель Chinchilla с 70 млрд параметров.

В феврале британская ИИ-лаборатория показала инструмент AlphaCode, который самостоятельно умеет писать код.

В декабре 2021 года DeepMind разработала большую языковую модель Gopher, содержащую 280 млрд параметров.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Discord Instagram
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

*Ежедневная рассылка — краткая сводка наиболее важных новостей предыдущего дня. Чтение занимает не больше двух минут. Выходит в рабочие дни в 06:00 (UTC)
*Еженедельная рассылка — объясняем, кто и как изменил индустрию за неделю. Идеально подходит для тех, кто не успевает за новостным потоком в течение дня. Выходит в пятницу в 16:00 (UTC).

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK