Инженер Microsoft назвал чат-бота Copilot опасным

Проработавший шесть лет в Microsoft Шейн Джонс заявил, что чат-бот компании создает непристойные изображения и игнорирует авторские права.

Он неоднократно предупреждал руководство о сексуальном и насильственном контенте, который генерирует Copilot Designer. Однако, по его словам, компания не приняла соответствующих мер.

Microsoft представила ИИ-модель, работающую на базе технологий OpenAI, в марте 2023 года. Для создания изображений пользователи должны вводить текстовые промпты.

За месяц до релиза Джонс активно тестировал продукт на предмет уязвимостей. Он заметил, что инструмент генерирует иллюстрации, которые не соответствуют принципам компании об ответственном ИИ.

По словам инженера, чат-бот изображал:

• монстров, сообщающих о праве на аборт; 
• подростков с автоматами;
• сексуализированные изображения женщин в сценах насилия;
• несовершеннолетних, употребляющих алкоголь и наркотики.

«Именно тогда я впервые понял, что это действительно небезопасная модель», — сообщил Джонс в интервью CNBC.

Он был сильно встревожен происходящим и начал рассказывать о находках начальству в декабре прошлого года. Хотя компания согласилась с его опасениями, она не сняла продукт с продажи. 

В январе 2024 года инженер написал по этому поводу письмо сенаторам США, а позже встретился с сотрудниками комитета по торговле, науке и транспорту.

«В течение последних трех месяцев я неоднократно призывал Microsoft изъять Copilot Designer из публичного использования до тех пор, пока не будут созданы более надежные средства защиты», — заявил Джонс чиновникам.

По его словам, команда Copilot получает более 1000 отзывов о продукте каждый день, но занимается расследованием только самых вопиющих случаев. Для решения всех проблем потребуются значительные инвестиции в новую разработку или переобучение моделей, но у корпорации не хватает на это ресурсов.

У чат-бота есть еще одна проблема: Copilot создает детальные изображения персонажей диснеевских мультфильмов и героев «Звездных войн», что потенциально нарушает законы об авторском праве и политику Microsoft.

«Беда в том, что если этот продукт начнет распространять сомнительные изображения по всему миру, то некуда будет сообщить об этом. Нет номера телефона, по которому можно позвонить, чтобы немедленно принять меры и прекратить это», — добавил Джонс.

Приложение Copilot Designer для Android по-прежнему имеет рейтинг «E for Everyone», означающий, что оно безопасно и не имеет возрастных ограничений.

Напомним, в феврале 2024 года Google приостановила создание изображений через Gemini из-за жалоб пользователей на исторические неточности.