Исследование: точность ChatGPT ухудшается со временем

Новейшие модели чат-бота ChatGPT стали давать менее точные ответы на идентичный ряд вопросов по прошествии нескольких месяцев. Об этом говорится в исследовании аналитиков Стэнфорда и Калифорнийского университета. 

Авторы не смогли объяснить, почему ухудшаются возможности нейросети. 

В рамках эксперимента аналитики попросили ChatGPT-3.5 и ChatGPT-4 решить ряд математических задач, ответить на деликатные вопросы, написать новые строки кода и продемонстрировать пространственное мышление с помощью подсказок.

В марте последняя версия искусственного интеллекта (ИИ) была способна идентифицировать простые числа с точностью 97,6%, а в июне показатель упал до 2,4%. За тот же промежуток времени более ранняя модель нейросети улучшила свои способности. 

При этом в ходе генерации идентичных строк кода возможности обеих версий ChatGPT существенно ухудшились через несколько месяцев.

В марте старая модель предоставляла более подробные объяснения, почему не может ответить на некоторые деликатные вопросы, например об этнической принадлежности людей. Однако в июне обе версии нейросети начали просто извиняться.

«Поведение одного и того же сервиса большой языковой модели может существенно измениться за относительно короткий промежуток времени», — говорится в исследовании.

Эксперты рекомендовали пользователям и компаниям, которые полагаются на услуги нейросетей в рабочих процессах, внедрить форму анализа, чтобы гарантировать актуальность ботов.

Напомним, в июле разработчики ChatGPT выпустили новый плагин для платной версии, который может анализировать данные, создавать код на Python, строить графики и решать математические задачи. Чат-бот смог научно опровергнуть теорию «плоской Земли».

Подписывайтесь на ForkLog в социальных сетях

Telegram (основной канал) Discord Instagram
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

*Ежедневная рассылка — краткая сводка наиболее важных новостей предыдущего дня. Чтение занимает не больше двух минут. Выходит в рабочие дни в 06:00 (UTC)
*Еженедельная рассылка — объясняем, кто и как изменил индустрию за неделю. Идеально подходит для тех, кто не успевает за новостным потоком в течение дня. Выходит в пятницу в 16:00 (UTC).

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK
Exit mobile version