Nvidia анонсировала новые технологии на GTC 2024

Компания Nvidia анонсировала новое поколение ИИ-чипов и программное обеспечение для работы с большими языковыми моделями. Презентация состоялась на конференции GTC 2024.

По словам CEO компании Дженсена Хуанга, каждые два года Nvidia обновляет архитектуру GPU с целью повышения производительности. Многие из ранее выпущенных ИИ-моделей обучены на архитектуре Hopper. Она используется в чипах вроде H100, анонсированных в 2022 году.

«Hopper — это фантастика, но нам нужны более мощные GPU», — заявил генеральный директор компании.

Новое поколение графических ИИ-процессоров получило название Blackwell. Первую модель GB200 выпустят в конце этого года.

Nvidia утверждает, что новые процессоры обеспечивают существенный прирост производительности для компаний, работающих с нейросетями — 20 петафлопс у новых чипов вместо 4 петафлопс у H100. По словам Хуанга, дополнительная вычислительная мощность позволит им обучать более крупные и сложные модели.

К примеру, для тренировки GPT-4 за 90 дней понадобилось 8000 старых чипов и 15 МВт мощности. Для обучения на новой видеокарте нужно всего 2000 процессоров и 4 МВт. 

Также стало известно, что GB200 будет иметь 192 GB памяти с пропускной способностью 8 ТБ/с.

«Blackwell — не просто чип, это целая платформа», — отметил Хуанг.

Графический процессор объединяет две отдельно изготовленные матрицы в один чип, произведенный компанией TSMC. Совокупно в них содержится 208 млрд транзисторов.

Модель станет доступна в виде сервера под названием GB200 NVLink 2, состоящего из 72 графических процессоров Blackwell. Его общий объем оперативной памяти составит 30 ТБ.

Компания будут продавать доступ к GB200 через облачные сервисы. Nvidia сообщила, что Amazon Web Services построит серверный кластер, состоящий из  20 000 этих моделей.

Хуанг также объявил о добавлении нового продукта под названием Nvidia Inference Microservice (NIM) к подписке на корпоративное ПО. Он упрощает использование старых графических процессоров для вычислений.

Напомним, в январе 2024 года Марк Цукерберг пообещал закупить чипы Nvidia для Meta, поскольку «будущая дорожная карта» в области искусственного интеллекта требует «огромной вычислительной инфраструктуры».