ИИ от Google научили проходить видеоигры

Модель SIMA от Google DeepMind научилась играть в девять видеоигр с открытым миром.

Our research project SIMA is creating a general, natural language instructable, multi 3D game-playing AI agent. The agent can carry out a wide range of tasks in virtual worlds, making AI more adaptable, helpful & fun! https://t.co/u6nkkztded pic.twitter.com/dr8rn2Thwh

— Shane Legg (@ShaneLegg) March 13, 2024

«В рамках нашего исследовательского проекта SIMA создан игровой ИИ-агент. Он сможет выполнять широкий спектр задач в виртуальных мирах, становясь более адаптируемым!», — сообщил соучредитель DeepMind Шейн Легг.

No Man’s Sky — пример видеоигры с открытым миром, которую нейросеть натренировалась проходить. Этот навык может стать шагом к созданию AGI, успешно функционирующим в реальном мире.

Видеоигры давно используются для проверки прогресса систем искусственного интеллекта. Google DeepMind показала мастерство в виртуальных шахматах и го. Но в них есть очевидные алгоритмы победы, что делает относительно простым обучение нейросетей.

Игры с открытым миром, с абстрактными целями и посторонней информацией сложнее для ИИ-систем. Вариативность действий делает их немного более похожими на настоящую жизнь.

В число игр, которые уже научилась проходить ИИ-модель, входят Minecraft, Teardown и Goat Simulator 3.

SIMA может перемещаться в пространстве, использовать предметы и ориентироваться в интерфейсе. Также она умеет совершать более комплексные действия вроде управления космическими кораблями или добычи ресурсов.

Разработчики использовали уже существующие модели распознавания видео и изображений для интерпретации игровых данных, а затем обучили SIMA соотносить происходящее на экране с определенными задачами. 

Чтобы получить эту информацию, исследователи проводили парные игры в команде. Один человек наблюдал за экраном и подсказывал другому, какие движения нужно совершить. 

Также разработчики просили людей просматривать свой игровой процесс и описывать движения мыши и клавиатуры, которые они совершали для прохождения игры. Это позволило SIMA узнать, как действия игроков связаны с решением задач.

«Стоит помнить, что для таких компаний, как DeepMind, эти исследования на самом деле не об играх, а о робототехнике. Навигация в 3D-среде — средство достижения цели. Компании стремятся создать ИИ-модели, способные воспринимать окружающий мир и действовать в нем», — прокомментировал исследование профессор Королевского колледжа Лондона Майкл Кук.

Когда нейросеть обучили на восьми играх, исследователи обнаружили, что она может играть в девятую, которую раньше не видела. Однако результаты не соответствовали человеческому уровню.

Напомним, в феврале DeepMind выпустила ИИ-модель Genie, создающую игры по промпту.