DeepMind научила ИИ играть в «Стратего» на уровне с людьми

Исследователи из лаборатории DeepMind создали ИИ-агента DeepNash, способного играть в «Стратего» на «человеческом экспертном уровне». Об этом пишет Gizmodo.

DeepNash научился играть, проведя множество партий против самого себя. В процессе он смог принимать сложные решения и рассматривать компромиссы «необычными» способами, недоступными прежним системам искусственного интеллекта.

Исследователи заявили, что сочетание в «Стратего» долгосрочного принятия решений и притока несовершенной информации делает ее уникальным испытательным полигоном для ИИ.

В игре обычно участвуют два человека. Она включает в себя как стратегию, так и элементы обмана. У каждого игрока есть состоящие из частей «армии», каждая из которых имеет свою ценность. Победа достигается путем захвата вражеского флага или отсутствия ходов противника.

Наличие фигур с разными значениями приводит к чрезвычайно большому количеству вариантов шагов и результатов. Исследователи говорят, что в «Стратего» гораздо больше «возможных состояний», чем в техасском холдеме или го.

Для победы DeepNash смешал как долгосрочную стратегию, так и краткосрочное принятие решений вроде блефа и риска. Как правило, прошлые алгоритмы не умели делать этого одновременно.

«DeepNash смог найти нетривиальный компромисс между информацией и материалом, блефовать и рисковать, когда это необходимо», — рассказали исследователи.

Вероятно, создатели DeepNash вдохновлялись американским математиком Джоном Нэшем, предложившем равновесие Нэша. В теории игр так называется совокупность действий для двух и более игроков, согласно которым участники теряют стимул менять стратегию, если этого не делают соперники.

DeepNash пытается найти равновесие Нэша в «Стратего», используя комбинацию самостоятельной игры и обучения с подкреплением под названием R-NaD. Используя как этот алгоритм, так и архитектуру глубокой нейронной сети, исследователи смогли создать модель, побеждающую даже в «чрезвычайно сложных ситуациях».

Разработчики протестировали DeepNash, сравнив его с другими ботами и «лучшими игроками» на онлайн-платформе Gravon. ИИ-агент побеждал виртуальных противников в 97% случаев. Коэффициент выигрыша против людей составил 84%.

В результате ИИ вошел в тройку лучших игроков как в текущем году, так и в таблице лидеров за все время.

«Насколько нам известно, это первый раз, когда алгоритм ИИ смог научиться играть в “Стратего” на уровне человека-эксперта», — заявили исследователи.

Напомним, в ноябре DeepMind создала искусственный интеллект, который естественным образом взаимодействует с человеком и учится у него.

В том же месяце Meta создала ИИ-агента, играющего в «Дипломатию» на уровне с людьми.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!