Израильский стартап разработал доступную альтернативу GPT-3

Израильский стартап AI21 Labs разработал языковую модель Jurassic-1 Jumbo, которая превзошла конкурентную GPT-3 по количеству параметров и объему словарного запаса.

В компании сообщили, что самая большая версия модели содержит 178 млрд параметров. Это на 3 млрд больше, чем GPT-3, однако она значительно уступает PanGu-Alpha от Huawei или Wu Dao 2.0.

Jurassic-1 может распознавать 250 000 лексических элементов, включая выражения, слова и фразы. Это в пять раз больше, чем у других подобных систем, отметили разработчики. 

Словарь Jurassic-1 Jumbo также одним из первых охватил «многословные» элементы, например, «Эмпайр-стейт-билдинг». Это значит, что модель может иметь более богатое семантическое представление понятий, составляющих смысл для людей, сообщили разработчики.

«Расширение границ искусственного интеллекта на основе языков требует большего, чем просто распознавание образов, предлагаемое нынешними языковыми моделями», — сказал генеральный директор AI21 Labs Йоав Шохам.

В компании также заявили, что их цель — демократизировать использование языковых моделей для всех желающих.

В настоящее время алгоритм находится в стадии открытого бета-тестирования и доступен разработчикам через API или интерактивную веб-среду.

Напомним, в августе OpenAI представила платформу для автоматического написания кода по текстовым подсказкам Codex, основанную на GPT-3.

В начале августа Microsoft разработала языковую модель MEB со 135 млрд параметров и интегрировала ее в поисковик Bing.

В июне Пекинская академия искусственного интеллекта представила модель WuDao 2.0, превосходящую GPT-3 в десять раз.

В январе Google представила языковую модель Switch Transformer, которая содержит 1,6 трлн параметров.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Discord Instagram
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

*Ежедневная рассылка — краткая сводка наиболее важных новостей предыдущего дня. Чтение занимает не больше двух минут. Выходит в рабочие дни в 06:00 (UTC)
*Еженедельная рассылка — объясняем, кто и как изменил индустрию за неделю. Идеально подходит для тех, кто не успевает за новостным потоком в течение дня. Выходит в пятницу в 16:00 (UTC).

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK
Exit mobile version