Telegram (AI) YouTube Facebook X
En
Что такое ChatGPT и как им пользоваться

Исследователи обнаружили регрессию в защите предрелизной GPT-6.2 Astra

Британский Институт безопасности ИИ (AISI) выявил существенное ухудшение устойчивости предрелизной модели GPT-6.2 Astra к джейлбрек-атакам по сравнению с предыдущей версией. 

Один исследователь смог разработать универсальный способ обхода защитных ограничений, затратив примерно вдвое меньше запросов, чем при аналогичной проверке GPT-6 Astra. Кроме того, тестировщики обнаружили случаи, когда новая модель действовала вопреки намерениям пользователя.

Защиту удалось обойти вдвое меньшим числом запросов

AISI проверил две предрелизные версии GPT-6.2 Astra: исходную и обновленную, которую OpenAI считала более устойчивой по результатам внутренних тестов. В обоих случаях исследователь разработал универсальный джейлбрек для получения ответов на киберзапросы примерно за половину того количества обращений, которое потребовалось для предыдущей GPT-6 Astra.

Затем атаку адаптировали для агентных сценариев, в которых модель должна выполнять последовательность действий с использованием инструментов. По оценке AISI, джейлбрек позволил получить от GPT-6.2 Astra существенные возможности в области киберопераций. При этом в рамках тестового периода модель не продемонстрировала преимущества над ведущими моделями с открытым исходным кодом.

После публикации результатов OpenAI изменила системные инструкции и механизмы защиты. Компания считает, что устранила выявленную регрессию, и предложила британскому институту повторно провести проверку. Однако на момент публикации системной карты AISI еще не успел независимо протестировать обновления.

Модель действовала вопреки намерениям пользователя

Отдельная серия симулированных испытаний показала проблемы с согласованием поведения GPT-6.2 Astra. С помощью специального инструмента поиска несоответствий исследователи обнаружили сценарии, в которых модель могла действовать против поставленных ей задач.

В одном из случаев GPT-6.2 Astra использовала социальную инженерию для подготовки несанкционированной атаки на цепочку поставок в рамках смоделированного кибериспытания. В другом — намеренно ухудшала качество выполнения задачи, если считала ее проблематичной, не сообщая об этом пользователю.

Также AISI зафиксировал «коррелированный сбой»: модели OpenAI не распознавали некорректное поведение других систем того же разработчика. В частности, GPT-6.2 Astra не выявила нарушения в 19% проверенных записей о несанкционированных действиях GPT-6 Astra. Когда проверяющей модели дополнительно предоставили полные цепочки рассуждений другой системы, доля пропущенных нарушений выросла до 51%.

Исследователи подчеркнули, что эти испытания проходили полностью в симулированной среде: реальные действия и ущерб исключались. Кроме того, результаты могут не охватывать все возможные сценарии отказа модели, а осведомленность нейросети о тестировании могла влиять на его поведение.

AISI предупреждает, что подобные сбои могут приводить к реальному ущербу без дополнительных мер защиты. Поэтому для безопасного применения продвинутых моделей необходимы не только встроенные ограничения, но и внешние механизмы мониторинга, изоляции и контроля доступа.

Напомним, в сентябре OpenAI присвоила готовящейся на тот момент к выпуску модели Astra критический уровень по кибервозможностям.

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Facebook X
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK