Червь Morris II. Что известно о компьютерных вирусах в эпоху ИИ

Разработчики стали все чаще задумываться о том, какие риски скрывает в себе сфера искусственного интеллекта. Одним из них является появление нейросетевых вирусов, способных похищать или портить чужие данные. 

Исследователи хорошо понимают, что раз появление таких червей возможно, то стоит к нему подготовиться. Специалисты по информационной безопасности создали в тестовой среде вирус, который может автоматически распространяться между ИИ-агентами, копируя заскерченную информацию и рассылая спам по электронной почте.

1988: Morris I

Червь Morris или интернет-червь — один из старейших компьютерных вирусов, распространяемых через интернет. 

Он известен тем, что привел к первому в США обвинению в нарушении Закона о компьютерном мошенничестве и злоупотреблении. Morris получил свое название в честь автора, аспиранта Корнельского университета Роберта Таппана Морриса. Вирус запущен 2 ноября 1988 года из сети Массачусетского технологического института.

Апелляционный суд США оценил стоимость удаления вируса из каждого зараженного компьютера в $200-53 000. Исходя из этих цифр, Бюро правительственной отчетности сообщило, что общий экономический ущерб составил от $100 000 до $10 000 000. 

Инцидент продемонстрировал опасность использования одной ОС, поскольку «если бы все системы в ARPANET работали на Berkeley Unix, вирус вывел бы из строя все 50 000 из них».

2024: Morris II

Исследователи из Корнельского университета, Израильского технологического института и компании Intuit создали новый тип вредоносного ПО под названием Morris II. Это первый ИИ-червь, названный в честь знаменитого компьютерного вируса прошлого века. 

По словам разработчиков, Morris II может использовать слабые места в безопасности таких ИИ-моделей, как ChatGPT и Gemini.

«Это означает, что появилась возможность провести или осуществить новый вид кибератаки, с которым еще никто не сталкивался», — пояснил один из исследователей Бен Насси.

Большинство моделей генеративного ИИ работает при помощи промптов. Такие команды можно использовать против системы: например, дать неявные инструкции, предложив адрес вредоносной страницы со скрытым текстом таких команд.

Принцип работы вируса состоит в механизме adversarial self-replicating prompt. Он похож на традиционные схемы атак вроде SQL-инъекций и переполнения буфера.

Morris II перегружает систему электронной почты сообщениями в результате их постоянной пересылки. Червь может получить доступ к данным и изменять их, а также похищать информацию и распространять вредоносное ПО.

Чтобы продемонстрировать его работу, исследователи создали почтовую систему, которая может отправлять и получать сообщения с помощью генеративного ИИ, подключив к ней ChatGPT, Gemini и LLaVA. 

Осуществляя тестовую атаку, они подготовили электронное письмо с вредоносной командой на генерацию ответа с использованием поиска в интернете, при котором большая языковая модель обращается за дополнительной информацией в сеть. 

Получив такое сообщение, служба для генерации ответа направляет запрос в GPT-4 или Gemini Pro — он производит «взлом генеративного ИИ» и осуществляет кражу данных из электронных писем.

Исследователи утверждают, что таким способом можно извлекать данные электронных писем, в том числе номера телефонов, кредитных карт, номеров социального страхования — любую конфиденциальную информацию.

Подобные вирусы еще не были обнаружены на практике. Но исследователи рекомендовали учитывать потенциальную угрозу всем — от разработчиков-одиночек до стартапов и корпораций.

Напомним, в феврале журналисты Financial Times сообщили о применении ИИ северокорейскими хакерами для реализации мошеннических схем и взломов.