Исследователи создадут большую языковую модель с открытым исходным кодом

Международная команда разработчиков BigScience запустила обучение языковой модели искусственного интеллекта с открытым исходным кодом на 176 млрд параметров.

Алгоритм обучают на данных 46 языков. Модель тренируют на суперкомпьютере Jean Zay французского Института развития и ресурсов в области интенсивных научных вычислений. Он построен на основе видеоускорителей Nvidia V100 и A100. Пиковая производительность установки превышает 28 петафлопс.

Руководитель отдела исследований Hugging Face Дау Киела сообщил, что процесс обучения займет три-четыре месяца.

По словам разработчиков, проект предназначен для исследовательских целей. Проприетарные языковые модели компаний вроде OpenAI, Google или Microsoft демонстрируют одинаково проблемное поведение, порождая токсичную речь, предвзятость и дезинформацию, считают инженеры. Алгоритм с открытым исходным кодом поможет исследователям понять эти проблемы и исправить их, добавили они.

«Если мы заботимся о демократизации исследовательского прогресса и хотим убедиться, что весь мир может использовать эту технологию — мы должны найти решение для этого. Это именно то, чем должна заниматься большая наука», — сказал Киела.

Открытый проект BigScience объединяет около тысячи разработчиков со всего мира, создающих и поддерживающих больших наборов данных для обучения языковых моделей.

Напомним, в январе OpenAI сообщила о создании менее токсичной версии GPT-3.

В декабре 2021 года DeepMind представила языковую модель с 280 млрд параметров.

В октябре Microsoft и Nvidia разработали алгоритм в три раза больше GPT-3.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Discord Instagram
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

*Ежедневная рассылка — краткая сводка наиболее важных новостей предыдущего дня. Чтение занимает не больше двух минут. Выходит в рабочие дни в 06:00 (UTC)
*Еженедельная рассылка — объясняем, кто и как изменил индустрию за неделю. Идеально подходит для тех, кто не успевает за новостным потоком в течение дня. Выходит в пятницу в 16:00 (UTC).

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK
Exit mobile version