Альянс роботов. Второй день конференции GTC 2024

Проходящая в Сан-Хосе конференция GTC 2024 почти полностью посвящена искусственному интеллекту. Но 19 марта компания Nvidia также анонсировала несколько важных продуктов в области робототехники.

Я есть GR00T

Компания представила проект GR00T (Generalist Robot 00 Technology) — мультимодальный искусственный интеллект, разработанный специально для андроидов.

Менеджер по исследованиям и руководитель направления воплощенного ИИ в Nvidia Джим Фан написал, что благодаря GR00T роботы смогут понимать инструкции через язык, видео и наблюдение за человеком для выполнения различных задач.

По словам CEO Nvidia Дженсена Хуанга, GR00T позволит роботам обучаться координации и сложным движениям, адаптироваться к происходящему вокруг и взаимодействовать с реальным миром. Во время выступления глава компании продемонстрировал несколько андроидов, оснащенных GR00T и выполняющих различные задачи.

На время тестов ИИ-продукт доступен только для некоторых компаний-партнеров, включая 1X Technologies, Agility Robotics, Apptronik, Boston Dynamics, Figure AI, Fourier Intelligence, Sanctuary AI, Unitree Robotics и XPENG Robotics.

«Создание базовых моделей для человекоподобных роботов — одна из самых захватывающих проблем в области ИИ на сегодняшний день. Ведущие исследователи всего мира объединяются, чтобы совершить гигантский скачок на пути к робототехнике общего назначения», — заявил Хуанг.

На данный момент подробности о внутренней архитектуре GR00T неизвестны. Аппаратная часть функционирует благодаря новой вычислительной платформе Jetson Thor.

Пополнение в семействе Jetson 

Jetson Thor способна выполнять сложные задачи по взаимодействию между людьми и машинами. Платформа основана на чипе Thor SoC и включает в себя новейший графический процессор Nvidia Blackwell.

Производительность GPU системы в восемь раз выше, чем у предыдущей версии Jetson Orin.

Функционирующий благодаря Thor продукт GR00T разработан с помощью инструментов Isaac Robotic Platform от Nvidia, включая новую лабораторию Isaac Lab для обучения с подкреплением.

Isaac Manipulator предлагает библиотеки, помогающие производителям роботов-манипуляторов добавить в продукты новые движения и увеличить их ловкость. Они включают модели для обнаружения и отслеживания объектов, оценки их 6D-положения и создания точных прогнозов для взаимодействия с окружающей средой. 

Isaac Perceptor помогает справляться с задачами управления андроидами в неструктурированной обстановке. Для трехмерного восприятия и объемного зрения используются многокамерный обзор на 360 градусов и ускоренные алгоритмы искусственного интеллекта.

«Захватывающие новости с GTC24! Nvidia Isaac совершает революцию в робототехнике! Благодаря GenAI и передовому моделированию Nvidia Isaac ускоряет роботов с ИИ-поддержкой. Посмотрите на новые базовые модели, систему обучения роботов и многое другое», — сообщило подразделение робототехники компании.

19 марта также стало известно о появлении альянса в сфере робототехники.

Роботы вступают в Альянс 

Open Source Robotics Foundation запустила Open Source Robotics Alliance (OSRA). 

«Мы рады объявить о нашем сотрудничестве с OpenRoboticsOrg в создании Альянса робототехники с открытым исходным кодом. Объединив усилия с Open Robotics, мы продолжим внедрять ускоренные вычисления и ИИ в робототехнику с открытым исходным кодом», — говорится в сообщении.

Компания стала первым платиновым членом OSRA. В таком же статусе к альянсу присоединились Intrinsic и Qualcomm.

Напомним, во время первого дня конференции GTC 2024 Nvidia анонсировала новое поколение ИИ-чипов и программное обеспечение для работы с большими языковыми моделями.