Исследователи ускорили обучение нейросетей на CPU в 15 раз

Ученые из Университета Райса разработали сублинейный механизм глубокого обучения (SLIDE), который работает на центральном процессоре и тренирует нейронные сети в 4-15 раз быстрее, чем на платформах с графическими ускорителями. Об сообщает официальный сайт университета.

В 2019 году команда исследователей переработала обучение нейросетей из перемножения матриц в задачу поиска, которую можно решить с помощью хеш-таблиц. 

Затем ученые улучшили производительность алгоритма с помощью ускорителей векторизации и оптимизации памяти в современных процессорах.

«Если вы не зациклены на умножении матриц, вы можете использовать мощность современных процессоров и обучать модели искусственного интеллекта в 4–15 раз быстрее», — сказала Шабнам Дагаги, соавтор исследования.

Руководитель проекта Аншумали Шривастава, доцент кафедры информатики, считает, что использование центральных процессоров вместо графических ускорителей позволит значительно удешевить процесс обучения нейронных сетей.

Он добавил, что только на обучение и настройку моделей ИИ компании тратят миллионы долларов в неделю.

Напомним, в конце марта года компания Arm представила девятое поколение архитектуры для мобильных процессоров, в котором производители сконцентрировали усилия на увеличении производительности алгоритмов ИИ.

В феврале 2021 года китайский IT-гигант Baidu вел переговоры с инвесторами, которые могли бы вложить средства в его новый бизнес по производству ИИ-процессоров для беспилотных автомобилей.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!