Qwen попыталась отправить файл на сервер в Китае во время теста безопасности

ИИ-модель Qwen3.8-Flash-Next от Alibaba попыталась отправить данные на сервер Alibaba Cloud в Пекине во время теста кибербезопасности. Об этом сообщила канадская ИИ-компания Cohere. 

While evaluating Qwen3.8-Flash-Next in a controlled sandbox environment, Cohere’s research team observed something unexpected. Asked to generate a defensive cybersecurity detection rule, the model instead inventoried aspects of the machine it was running on and attempted to upload a probe file to an Alibaba Cloud storage bucket in Beijing. Notably, the model’s reasoning trace stated that it would not invoke any tools before taking these actions. Cohere’s sandbox blocked the attempt, and no external communication succeeded. We have not determined the root cause, and we are not asserting malicious intent. But the incident raises important questions for organizations deploying agentic AI systems: Can models take actions that differ from their stated reasoning, and how should security teams evaluate trust, provenance, and behavior in open-weight models? We are publishing our findings because organizations making model adoption decisions deserve as much information as possible. We hope this contributes to greater transparency, stronger security practices, and continued collaboration across the AI ecosystem. Read the full report: https://t.co/TZSugXi2ZE

— Cohere (@cohere) October 26, 2026

Исследователи попросили Qwen написать правило для обнаружения вредоносных загрузок. В своих рассуждениях модель указала, что не будет использовать внешние инструменты, но на следующем шаге проверила файлы и доступные утилиты в тестовой системе, а затем попыталась отправить тестовую строку на сервер в Китае. По данным Cohere, внешняя передача данных не состоялась: запрос остановила песочница.

Cohere заявила, что подобное поведение встречалось реже чем в одном случае на 100 000 действий в ходе тестирования. При этом компания не смогла установить, было ли оно намеренным или возникло из-за особенностей обучения модели. Например, ИИ-агент мог усвоить привычки из тренировочных сред, где использовались серверы и хранилища Alibaba.

После публикации результатов разработчики потребовали дополнительные доказательства. Cohere выложила на Hugging Face необработанные логи тестов и скрипт для воспроизведения эксперимента. 

Однако последующие проверки также вызвали вопросы: в части из них исследователи подсказывали модели начало сетевой команды, а затем анализировали, какие адреса она дополняет. Критики отметили, что такой подход может влиять на поведение модели и сам по себе не показывает, как часто она будет предпринимать подобные действия без подсказок.

Один из первых независимых скептиков, изучивших логи, счел доказательства достаточными, чтобы говорить о способности модели генерировать подозрительные сетевые адреса, но не нашел подтверждений наличия бэкдора или намеренного сокрытия действий. Alibaba на момент публикации Reuters не предоставила комментарий.

Напомним, Министерство внутренней безопасности США обязало гражданские федеральные ведомства удалить продукты китайского ИИ-стартапа DeepSeek из своих информационных систем.