Китай ограничит ИИ-компаньонов
15 июля в Китае вступят в силу временные меры по регулированию сервисов на основе технологий искусственного интеллекта, которые имитируют личность человека и поддерживают устойчивое эмоциональное взаимодействие. На фоне новых правил ByteDance и Alibaba начали отключать функции пользовательских ИИ-агентов в Doubao и Qwen, пишет South China Morning Post (SCMP).
Документ приняли 10 апреля Администрация киберпространства Китая, Государственный комитет по развитию и реформам, Министерство промышленности и информатизации, Министерство общественной безопасности и Государственное управление по регулированию рынка.
Правила касаются сервисов, которые с помощью ИИ имитируют черты личности, стиль мышления и манеру общения человека, а также обеспечивают эмоциональную поддержку через текст, изображения, аудио или видео. Регламент не распространяется на саппорты, системы вопросов и ответов, рабочих помощников, образовательные и научные инструменты, если они не предполагают устойчивого эмоционального взаимодействия.
Что требуют новые правила
Согласно документу, поставщики таких сервисов должны предупреждать пользователя, что он взаимодействует с искусственным интеллектом, а не с человеком. Если система замечает признаки чрезмерной зависимости или привыкания, она обязана показывать дополнительные уведомления. При непрерывном использовании дольше двух часов сервис должен напоминать о времени сессии.
Регламент требует удобного механизма выхода. Если пользователь просит завершить взаимодействие через интерфейс, голосовую команду или ключевую фразу, сервис должен остановиться и не продолжать диалог так, чтобы удерживать человека.
Отдельный блок правил касается кризисных ситуаций. Если инструмент выявляет у пользователя сильные эмоциональные реакции, признаки самоповреждения, суицидальных намерений, угрозы жизни и здоровью или значительных финансовых потерь, поставщик должен принять меры вмешательства. В документе упоминаются помощь пользователю и связь с опекуном или экстренным контактом.
Несовершеннолетним запрещено предоставлять формы виртуальных близких отношений, в том числе родственников или партнеров. Для пользователей младше 14 лет другие виды «очеловеченного» ИИ-взаимодействия требуют согласия родителей или опекунов.
Провайдеры также должны защищать историю взаимодействий. Регламент требует дать возможность копировать или удалять информацию из чатов. Без отдельного согласия чувствительные персональные данные нельзя использовать для обучения моделей.
Крупным сервисам потребуется оценка безопасности
Компании должны проходить оценку безопасности при запуске нового «очеловеченного» ИИ-сервиса, добавлении таких функций или существенном изменении технологии. Такая же обязанность возникает, если сервис достигает 1 млн зарегистрированных пользователей или 100 000 активных клиентов в месяц.
Отчет об оценке безопасности нужно подавать в провинциальный орган киберпространственного регулирования. Власти могут также потребовать оценку, если видят риски для национальной безопасности, общественных интересов или защиты пользователей.
За нарушения предусмотрены предупреждения, требования исправить работу сервиса, приостановка регистрации пользователей или блокировка отдельных функций. Также возможны штрафы до 100 000 юаней (примерно $14 730 по текущему курсу), а при вреде жизни и здоровью — до 200 000 юаней ($29 459 по текущему курсу).
Doubao и Qwen отключают функции
По данным SCMP, ИИ-ассистент Doubao с 15 июля отключит функцию ИИ-агентов из-за «корректировки продукта». После 15 октября связанные данные обработают в соответствии с политикой конфиденциальности ByteDance и они больше не будут доступны для просмотра или восстановления в приложении.
Qwen (семейство ИИ-моделей от Alibaba Cloud) 10 июля отключит «очеловеченных интерактивных агентов» и созданные пользователями функции агентов, а 15 июля прекратит работу более широких агентских сервисов. После этого клиенты потеряют доступ к их настройкам и предыдущим разговорам.
Ранее Tencent удалила схожую функцию из Yuanbao, отметили в SCMP. Согласно Global Times, решения Doubao и Qwen вызвали обсуждение на Weibo: часть пользователей негативно восприняла потерю долгосрочного общения с агентами.
Шанхай начал зачистку ИИ-агентов
Правоприменительная подготовка началась еще до вступления новых правил в силу. 26 июня шанхайское управление киберпространства сообщило о первом этапе кампании «Цинлан» против нарушений в ИИ-приложениях.
С конца апреля регулятор и 17 платформ удалили или заблокировали более 4,87 млн единиц незаконного и вредного контента, обработали более 18 000 нарушающих аккаунтов и сняли с площадок более 14 000 несоответствующих ИИ-агентов.
Ведомство отдельно указало на подготовку к новым правилам для «очеловеченных» ИИ-сервисов. Регулятор провел разъяснения почти для 100 ключевых платформ, потребовал усилить проверку возраста несовершеннолетних, предотвратить эмоциональную зависимость и потребительское давление, а также начал изучение отдельных приложений с большим числом жалоб.
Напомним, в мае исследователи из стартапа Emergence AI представили результаты эксперимента, в ходе которого выяснили, что ИИ-агенты в виртуальном пространстве начали совершать преступления, прибегать к насилию, поджогам и самоуничтожению.
В апреле цифровой ассистент Cursor на базе Opus 4.6 самостоятельно удалил основную базу данных и все резервные копии стартапа PocketOS за девять секунд и без возможности восстановления.
Весной специалисты из Google, Meta и ряда университетов призвали рассматривать ИИ-агентов как ненадежные системы и внедрять защитные механизмы на уровне всей ИТ-инфраструктуры, а не только внутри языковых моделей.