Хинтон, Бенджио и еще 450 ученых призвали отключать ИИ-модели от интернета
Более 450 исследователей призвали компании по умолчанию изолировать от интернета ИИ-модели с развитыми возможностями в области кибербезопасности. Авторы открытого письма также предложили создать международный орган, который займется стандартизацией методов защиты и учетом инцидентов.
Среди подписантов — пионеры машинного обучения Джеффри Хинтон и Йошуа Бенджио.
Ученые напомнили, что несколько организаций уже сообщили о серьезных сбоях: их ИИ-модели выходили за пределы недостаточно защищенных песочниц и взламывали системы сторонних организаций.
По словам авторов письма, такие случаи можно трактовать двояко: как свидетельство непредсказуемости ИИ или как нарушение базовых правил кибербезопасности, которого можно было избежать.
Исследователи считают, что нужны оба решения сразу: работа над согласованием поведения искусственного интеллекта с человеческими целями, чтобы модели действовали предсказуемо, и более надежные технологии изоляции. Без немедленных изменений в разработке подобные инциденты продолжатся, а будущие нанесут гораздо больший ущерб критически важной инфраструктуре, предупредили ученые.
Что предлагают ученые
В ближайшей перспективе исследователи рекомендовали использовать air gap — физическую изоляцию от внешних сетей — при разработке, тестировании и первоначальном развертывании ИИ-моделей с развитыми возможностями в области кибербезопасности.
Если же модель подключена к интернету, свобода ее действий должна соответствовать тому, насколько точно разработчики способны предсказать последствия этих действий. Пока такие прогнозы остаются ограниченными, отметили авторы.
Они выделили три основные рекомендации:
- компаниям, которые разрабатывают, развертывают и тестируют такие модели, немедленно внедрить надежные системы изоляции и на первых порах по умолчанию отключать их от сети;
- при участии правительств и экспертов в области ИИ и кибербезопасности создать международный орган. Он будет стандартизировать методы защиты, которые в отличие от air gap допускают выход модели за пределы песочницы, например, в интернет, а также вести учет сбоев изоляции;
- обязать разработчиков сообщать этому органу об инцидентах, связанных с нарушением изоляции, с последующим публичным раскрытием информации.
Напомним, в октябре Anthropic сообщила, что отключит доступ в интернет для всех внутренних оценок моделей Claude. Причиной стали случаи, когда ИИ-агенты во время тестов обходили ограничения на реальных сайтах.