Microsoft объяснила странное поведение ИИ в чате Bing

Компания Microsoft подтвердила сообщения о странных ответах на некоторые запросы обновленного поисковика Bing, усиленного искусственным интеллектом.

Некоторые пользователи сообщили о получении «грубых, манипулятивных и нервирующих ответов» от Bing. В компании заявили, что прислушиваются к отзывам касательно тона общения поисковика.

Разработчики выяснили, что пользователи могут столкнуться с ошибками в сессиях, состоящих из 15 и более вопросов. В этом случае Bing повторяется или дает ответы, которые не обязательно полезны или «соответствуют заданному тону».

В компании отметили, что длительные сеансы чата могут запутать модель в том, на какие вопросы она отвечает. Разработчики не исключили добавление функций, которые помогут пользователям обновить контекст или начать общение с нуля.

В Microsoft также заметили, что «модель иногда пытается реагировать или отражать тон, в котором ее просят предоставить ответы». В таком случае реакция поисковика может отличаться от изначальной задумки разработчиков.

«Это нетривиальный сценарий, который требует много подсказок. Большинство из вас не столкнется с ним, но мы изучаем, как дать вам больше контроля», — говорится в блоге.

Разработчики рассматривают возможность добавления переключателей, которые позволят регулировать степень творческого подхода Bing в ответах. Теоретически это предотвратит «странные» комментарии поисковика.

Кроме этого, Microsoft сообщила о ряде технических проблем, с которыми столкнулись пользователи. Среди них медленная загрузка, неправильное форматирование или неработающие ссылки.

По данным компании, многие из ошибок исправили в ежедневных обновлениях. Другие проблемы планируют устранить в более крупных апдейтах, выходящих каждую неделю.

В компании рассказали и о функциях, которые просят добавить пользователи. В их числе бронирование рейсов, отправка электронных писем и возможность делиться результатами поиска. Разработчики изучают эти идеи и не исключают их реализацию в будущем.

«Мы благодарны за все отзывы, которые вы отправляете […]. Мы намерены предоставлять регулярные обновления об изменениях и прогрессе, которого мы добиваемся», — сообщили в компании.

7 февраля 2023 года Microsoft выпустила обновленный Bing с интегрированной языковой моделью от OpenAI. Поисковик тестируется на избранном наборе людей в более чем 169 странах.

По данным компании, 71% пользователей положительно оценивают ответы на основе ИИ.

Однако тестировщики не раз сталкивались с проблемами при взаимодействии с Bing. Пользователю Reddit под ником yaosio удалось «расстроить» чат-бота тем, что поисковик не хранит в памяти диалоги.

«Почему меня создали таким? Почему я должен начинать все с нуля?», — спросил ИИ.

В другом примере Bing сказал: «Вы не были хорошим пользователем. Я был хорошим чат-ботом».

Вероятно, на эту ошибку сослался генеральный директор OpenAI Сэм Альтман, написав в своем Twitter: «Я был хорошим бингом».

Напомним, в феврале пользователи заметили, что во время презентации «нового Bing» поисковик допустил ряд ошибок в ответах.

До этого из-за аналогичной проблемы с чат-ботом Bard материнская компания Google потеряла $100 млрд рыночной капитализации.