OpenAI выпустила детектор сгенерированных текстов

Компания OpenAI выпустила бесплатный онлайн-инструмент AI Text Classifier, распознающий сгенерированные искусственным интеллектом тексты.

Программа основана на языковой модели и оценивает вероятность того, что фрагмент текста сгенерировал ИИ. Пятибалльная шкала варьируется от «очень маловероятно» до «вероятно».

Разработчики признали, что классификатор недостаточно надежен.

«В наших оценках на тестовом англоязычном наборе классификатор правильно идентифицировал 26% написанного ИИ текста (истинно положительные результаты) как “вероятно написанные ИИ”. В то же время написанный человеком текст в 9% случаев неправильно отмечался как написанный алгоритмом (ложные срабатывания)», — говорится в блоге.

В OpenAI считают, что инструмент может помочь выявить машинный текст, но он не должен становиться единственным доказательством при принятии решений.

«Модель обучается на записях из различных источников, которые могут не отражать все виды написанного человеком текста», — добавили в организации.

AI Text Classifier предназначен для обнаружения ИИ-работ из различных источников. Его обучили на 34 генераторах, созданных пятью организациями. Также инструмент тренировали на текстах, написанных людьми.

Для проверки программе необходимо предоставить образец из 1000 символов. Он плохо работает для языков, отличных от английского.

Классификатор также будет мало полезен для учителей, которые хотят оценить источник работы учеников. Инструмент недостаточно чувствителен к изменениям, внесенным человеком в ИИ-тексты. Такие работы могут избежать обнаружения.

«Мы предупреждаем, что модель не была тщательно оценена по многим ожидаемым основным целям, включая студенческие эссе, кампании по дезинформации или стенограммы чатов. Известно, что основанные на нейронных сетях классификаторы плохо откалиброваны за пределами их обучающих данных. Для входных данных, которые сильно отличаются от текста в нашем наборе, инструмент иногда очень уверен в неправильном прогнозе», — предупредили в компании.

Сообщается, что OpenAI также изучает другие подходы к обнаружению текста, сгенерированного ИИ, включая метод водяных знаков.

OpenAI представила ChatGPT в декабре 2022 года. За 40 дней чат-бот достиг отметки в 10 млн уникальных пользователей в день.

С тех пор инструмент не раз вызывал обеспокоенность со стороны представителей сферы образования. Школы и университеты в США, Австралии, Франции и Индии ввели запреты на использование ChatGPT студентами.

Эксперты также опасаются, что злоумышленники могут использовать модели генерации текста для распространения дезинформации, фишинговых писем и огромного количества бесполезного текста для наводнения интернета спамом.

Напомним, в январе государственные школы Нью-Йорка запретили использовать ChatGPT на территории учреждений. Позже к ним присоединились крупнейшие вузы Австралии.

В том же месяце OpenAI выпустила отчет о возможном использовании текстовых генераторов для создания дезинформации и пропаганды.

В конце января с трибуны Конгресса США впервые в истории прозвучала речь, написанная искусственным интеллектом.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!