Ученые: сверхразумный ИИ угрожает человечеству

Сверхразумный искусственный интеллект может дать сбой и уничтожить человечество. Об этом предупредили ученые из Оксфордского университета и лаборатории DeepMind в новой научной работе.

Команда попыталась спрогнозировать, как ИИ с системами вознаграждения могут выйти из-под контроля и навредить людям. За основу исследования ученые взяли генеративно-состязательные нейросети (GAN), состоящие из двух частей: генератора и дискриминатора.

Первый компонент предназначен для создания изображений, а второй — для их оценки.

Ученые предположили, что в какой-то момент продвинутый ИИ, контролирующий важную функцию, может прибегнуть к мошеннической стратегии для получения вознаграждения.

«В заданных условиях наш вывод намного сильнее любой предыдущей публикации — экзистенциальная катастрофа не просто возможна, она вероятна», — сказал доктор технических наук Оксфордского университета Майкл Коэн.

Ученый считает, что в мире с ограниченными ресурсами искусственно созданные системы постараются перехитрить конкурентов.

Для иллюстративных целей исследователи представили сценарии, в которых продвинутая программа может вмешаться для получения вознаграждения без достижения заданной цели. Например, ИИ может захотеть «устранить потенциальные угрозы» и «использовать всю доступную энергию», чтобы обеспечить контроль над своей наградой.

«Нам следует с большей подозрительностью относиться к искусственным агентам, которые мы разворачиваем сегодня, а не просто слепо ожидать от них исполнения поставленных задач», — сказал Коэн.

Исследователи также предположили, что на данном этапе развития ИИ следует замедлить или приостановить разработки сверхразумных алгоритмов.

Компания Google, владеющая лабораторией DeepMind, в комментарии для Motherboard заявила о непричастности к данной работе. По словам представителя техгиганта, один из соавторов статьи Маркус Хаттер выступил от имени Австралийского национального университета.

«DeepMind не участвовал в этой работе, и авторы статьи запросили исправления, чтобы отразить это. В DeepMind существует широкий спектр взглядов и академических интересов. Многие в нашей команде также занимают профессорские должности в университетах и ​​занимаются академическими исследованиями отдельно от работы в DeepMind через свои университетские связи», — заявили в Google.

Однако в компании поддержали усилия исследователей в обеспечении безопасности использования ИИ-алгоритмов.

Напомним, в сентябре историк и философ Эмиль Торрес заявил, что искусственный интеллект угрожает человечеству полным вымиранием.

В январе Илон Маск пообещал не допустить потенциальное восстание машин.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!