OpenAI начнет помечать генерируемый ИИ-алгоритмами текст

Инженеры OpenAI разрабатывают инструмент для нанесения «водяных знаков» на контент, создаваемый системами искусственного интеллекта. Об этом рассказал приглашенный компанией профессор компьютерных наук Скотт Ааронсон на лекции в Техасском университете в Остине.

По словам исследователя, сотрудник Хендрик Киршнер уже создал рабочий прототип, который надеются интегрировать в будущие продукты.

«Мы хотим усложнить выдачу результатов [ИИ-алгоритмов] за человеческий труд», — сказал Ааронсон.

Он добавил, что это поможет предотвратить академический плагиат и массовое распространение пропаганды.

Системы вроде чат-бота ChatGPT понимают входной и выходной текст как строки «токенов», которые могут являться словами, их частями или знаками препинания. 

ИИ-алгоритмы постоянно генерируют математическую функцию, называемую распределением вероятностей, для определения следующей выводимой лексемы на базе ранее выданной информации.

В случае таких моделей, как ChatGPT, после создания дистрибутива сервер OpenAI в соответствии с ним выполняет работу по выборке «токенов». В этом действии есть некоторая случайность, поэтому одна и та же текстовая подсказка может привести к другому ответу.

По словам Ааронсона, разрабатываемый компанией инструмент нанесения «водяных знаков» действует как «обертка» над существующими генераторами текста. Он использует криптографическую функцию, работающую на уровне сервера, для «псевдослучайного» выбора следующего «токена».

При задействовании такой системы обычные пользователи увидят созданный ИИ текст без каких-либо модификаций. Однако имеющие «ключ» к криптографической функции смогут обнаружить «водяной знак».

Независимые ученые и отраслевые эксперты выразили сомнения в корректности работы подобного инструмента. По их словам, так как система является серверной, она не сможет работать со всеми ИИ-генераторами текста. Также противники метода смогут «довольно легко» обойти его, уверены исследователи.

Научный сотрудник Института искусственного интеллекта Аллена Джек Хессель указал на трудности незаметного снятия «отпечатков пальцев» результатов алгоритмов, поскольку каждый «токен» является дискретным выбором.

Слишком очевидный идентификатор приведет к выбору странных слов, способных ухудшить «беглость» речи.

Соучредитель стартапа AI21 Labs Йоав Шохам призвал создать более комплексный подход для определения источников текста, который включает дифференциальные, а не статические, «водяные знаки». Они позволят по-разному помечать отдельные части написанного.

В своей лекции Ааронсон признал, что предложенная OpenAI схема сможет действовать только в мире, где все работающие в этой области компании согласятся стать ответственными игроками.

Однако, по словам ученого, если лаборатория продемонстрирует работоспособность инструмента и отсутствие его влияния на качество генерируемого текста, тот способен превратиться в отраслевой стандарт.

Напомним, в декабре OpenAI выпустила чат-бота ChatGPT, который умеет отвечать на вопросы, признавать ошибки, спорить и отклонять неуместные запросы.

В сентябре компания представила систему распознавания речи Whisper, обеспечивающую транскрипцию на нескольких языках.

В январе OpenAI выпустила новую версию GPT-3, которая производит меньше оскорбительных выражений, дезинформации и ошибок в целом.

Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!