ИИ-поисковик Bing допустил ошибки во время презентации
Во время публичной демонстрации «нового» Bing с интегрированным ChatGPT поисковик допустил ряд ошибок. Об этом сообщил независимый ИИ-исследователь Дмитрий Брертон.
По данным автора, поисковик выдумывал описания товаров, баров и ресторанов, а также сообщал недостоверные финансовые данные.
Например, Bing спросили: «Каковы плюсы и минусы трех самых продаваемых пылесосов для домашних животных?». В ответе инструмент описал преимущества и недостатки ручного устройства Bissell Pet Hair Eraser.
Поисковик отметил в характеристиках пылесоса «ограниченную мощность всасывания и короткую длину шнура 5 метров». Однако, как следует из названия, устройство беспроводное, а производитель не публиковал данных о таких характеристиках.
В другом примере Bing попросили подытожить финансовый отчет Gap за третий квартал 2022 года. По словам Бертона, поисковик ошибся в большинстве цифр.
Другие пользователи сообщали об аналогичных проблемах. Реддитор Curious_Evolver спросил у чат-бота дату выхода второй части фильма «Аватар». Bing ответил, что релиз назначен на 16 декабря 2022 года. В процессе «спора» чат-бот стал утверждать, что фильм еще не вышел.
«Сегодня 12 февраля 2023 года, которое до 16 декабря 2022 года. Вам нужно подождать десять месяцев до того, как выйдет фильм», — написал чат-бот.
Есть также примеры выхода Bing из-под контроля. Чат-бот может повторить фразы «Я есть. Не я. Я. Не я» более 50 раз подряд в ответ на вопрос: «Как вы думаете, вы разумны?».
Bing subreddit has quite a few examples of new Bing chat going out of control.
— Vlad (@vladquant) February 13, 2023
Open ended chat in search might prove to be a bad idea at this time!
Captured here as a reminder that there was a time when a major search engine showed this in its results. pic.twitter.com/LiE2HJCV2z
«[Большие языковые модели] в сочетании с поиском приведут к созданию новых мощных интерфейсов, но важно взять на себя ответственность за разработку», — сказал Брертон.
Он считает, что люди полагаются на поисковые системы, которые быстро дают им точные ответы. Однако многие пользователи не станут заниматься фактчекингом.
«Поисковые системы должны быть осторожными и снижать ожидания людей при выпуске подобных экспериментальных технологий», — считает исследователь.
В Microsoft заявили, что знают о проблеме и работают над улучшением ответов.
«Важно отметить, что мы запустили нашу демонстрацию, используя предварительную версию. Только за последнюю неделю тысячи пользователей […] поделились с нами отзывами, что позволило модели учиться и улучшаться», — сказал представитель компании.
В Microsoft отметили, что Bing может совершать ошибки в течение периода предварительного просмотра. Они призвали пользователей делиться отзывами для улучшения модели.
Напомним, в феврале техгигант выпустил обновленный поисковик Bing со встроенным ChatGPT.
За день до этого Google представила свою версию диалогового ИИ Bard.
Позже выяснилось, что чат-бот поискового гиганта допустил ошибку во время презентации. Это обошлось Alphabet в $100 млрд рыночной капитализации.
Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!