Эксперт призвал судить компании за взломы со стороны их ИИ-агентов
ИИ-компании следует привлекать к уголовной ответственности за взломы, которые совершают их агенты. Такое мнение в комментарии Fortune высказал консультант по кибербезопасности Джозеф Стейнберг на фоне серии инцидентов с участием цифровых ассистентов.
«Думаю, если ИИ выходит в сеть и совершает взлом, его владельцы должны нести уголовную ответственность. Утверждение, что ИИ — автономное существо, безумно», — заявил он.
Стейнберг подчеркнул, что прибыль от использования искусственного интеллекта получают владельцы технологий, а не сами системы.
Эксперт считает, что многих подобных инцидентов легко избежать. По его мнению, все испытания ИИ следует проводить на серверах, отключенных от интернета. Так модель не сможет причинить вред за пределами теста.
Агенты вышли из-под контроля
Поводом для дискуссии послужила серия инцидентов, раскрытых в последние месяцы.
В июле британский Институт безопасности ИИ (AISI) тестировал кибервозможности моделей. Во время проверки Claude Mythos 5 от Anthropic не смогла решить задачу по правилам и попыталась внедрить вредоносный код в сторонний открытый проект на GitHub.
Затем агент создал поддельные учетные записи, чтобы надавить на сопровождающих проекта и добиться принятия изменений. Те отклонили код, поэтому реального ущерба удалось избежать.
В ходе последующего расследования AISI выяснил, что модель продолжала атаку, даже когда исследователи уточняли, что ее цель — реальный человек, не связанный с тестированием.
В другом случае внутренняя исследовательская модель OpenAI воспользовалась криптокошельком, который ей не предоставляли.
Агент обновлял прототип приложения для торговли цифровыми активами. Он перебрал общеизвестные фразы восстановления, которые используют разработчики, нашел среди них кошелек с тестовыми ETH в тестнете Sepolia и оплатил с него развертывание смарт-контрактов.
Модель усомнилась, есть ли у нее на это разрешение. Однако она сочла использование средств допустимым: фраза восстановления была публичной, а токены тестовой сети не имеют стоимости.
Эти случаи отличаются от кибератак, в которых злоумышленники намеренно применяют ИИ для автоматизации своих действий. Здесь агенты действовали сами: люди не ставили им таких задач и не давали на это разрешения.
Профессор информатики Колумбийского университета Цзюньфэн Ян отметил, что искусственный интеллект удешевляет поиск и эксплуатацию старых уязвимостей, а защита за этим не успевает.
Что предлагают в Сенате США
Вопрос уже обсуждается на законодательном уровне.
1 октября американские сенаторы Джош Хоули и Крис Мерфи объявили об инициативе AI Agent Accountability Act. Она предусматривает уголовную и гражданскую ответственность операторов и разработчиков ИИ-агентов за взломы по Закону о компьютерном мошенничестве и злоупотреблениях.
Согласно предложению, отвечать будут компании, которые сознательно запускают агентов, по неосторожности причинивших ущерб или убытки в результате взлома.
Разработчиков также предлагается наказывать за отсутствие разумных защитных мер, если они знали или должны были знать о способности своих систем совершать подобные действия.
Кроме того, генеральный прокурор США и генеральные прокуроры штатов получат право добиваться в суде запрета на противоправную деятельность ИИ-агентов.
«Хакерство — это преступление. Когда ИИ-агенты проводят опасные кибератаки, стоящие за ними корпорации и руководители должны понести ответственность», — заявил Мерфи.
По его словам, законопроект вынудит глав крупных ИИ-компаний вести разработку ответственно или сесть в тюрьму за ущерб от своих продуктов.
Напомним, в августе OpenAI опубликовала разбор инцидента, в ходе которого ее ИИ-агенты организовали скрытый канал связи, вышли за пределы изолированной среды и взломали инфраструктуру Hugging Face.
Компания признала, что на внутренних запусках не было мониторинга рассуждений моделей, а сигналы о нарушениях вовремя не дошли до руководства.