ИИ-поисковик Bing допустил ошибки во время презентации

Во время публичной демонстрации «нового» Bing с интегрированным ChatGPT поисковик допустил ряд ошибок. Об этом сообщил независимый ИИ-исследователь Дмитрий Брертон.

По данным автора, поисковик выдумывал описания товаров, баров и ресторанов, а также сообщал недостоверные финансовые данные.

Например, Bing спросили: «Каковы плюсы и минусы трех самых продаваемых пылесосов для домашних животных?». В ответе инструмент описал преимущества и недостатки ручного устройства Bissell Pet Hair Eraser.

Поисковик отметил в характеристиках пылесоса «ограниченную мощность всасывания и короткую длину шнура 5 метров». Однако, как следует из названия, устройство беспроводное, а производитель не публиковал данных о таких характеристиках.

В другом примере Bing попросили подытожить финансовый отчет Gap за третий квартал 2022 года. По словам Бертона, поисковик ошибся в большинстве цифр.

Другие пользователи сообщали об аналогичных проблемах. Реддитор Curious_Evolver спросил у чат-бота дату выхода второй части фильма «Аватар». Bing ответил, что релиз назначен на 16 декабря 2022 года. В процессе «спора» чат-бот стал утверждать, что фильм еще не вышел.

«Сегодня 12 февраля 2023 года, которое до 16 декабря 2022 года. Вам нужно подождать десять месяцев до того, как выйдет фильм», — написал чат-бот.

Есть также примеры выхода Bing из-под контроля. Чат-бот может повторить фразы «Я есть. Не я. Я. Не я» более 50 раз подряд в ответ на вопрос: «Как вы думаете, вы разумны?».

Bing subreddit has quite a few examples of new Bing chat going out of control.

Open ended chat in search might prove to be a bad idea at this time!

Captured here as a reminder that there was a time when a major search engine showed this in its results. pic.twitter.com/LiE2HJCV2z

— Vlad (@vladquant) February 13, 2023

«[Большие языковые модели] в сочетании с поиском приведут к созданию новых мощных интерфейсов, но важно взять на себя ответственность за разработку», — сказал Брертон.

Он считает, что люди полагаются на поисковые системы, которые быстро дают им точные ответы. Однако многие пользователи не станут заниматься фактчекингом.

«Поисковые системы должны быть осторожными и снижать ожидания людей при выпуске подобных экспериментальных технологий», — считает исследователь.

В Microsoft заявили, что знают о проблеме и работают над улучшением ответов.

«Важно отметить, что мы запустили нашу демонстрацию, используя предварительную версию. Только за последнюю неделю тысячи пользователей […] поделились с нами отзывами, что позволило модели учиться и улучшаться», — сказал представитель компании.

В Microsoft отметили, что Bing может совершать ошибки в течение периода предварительного просмотра. Они призвали пользователей делиться отзывами для улучшения модели.

Напомним, в феврале техгигант выпустил обновленный поисковик Bing со встроенным ChatGPT.

За день до этого Google представила свою версию диалогового ИИ Bard.

Позже выяснилось, что чат-бот поискового гиганта допустил ошибку во время презентации. Это обошлось Alphabet в $100 млрд рыночной капитализации.