Исследование: точность ChatGPT ухудшается со временем

Новейшие модели чат-бота ChatGPT стали давать менее точные ответы на идентичный ряд вопросов по прошествии нескольких месяцев. Об этом говорится в исследовании аналитиков Стэнфорда и Калифорнийского университета. 

Авторы не смогли объяснить, почему ухудшаются возможности нейросети. 

В рамках эксперимента аналитики попросили ChatGPT-3.5 и ChatGPT-4 решить ряд математических задач, ответить на деликатные вопросы, написать новые строки кода и продемонстрировать пространственное мышление с помощью подсказок.

В марте последняя версия искусственного интеллекта (ИИ) была способна идентифицировать простые числа с точностью 97,6%, а в июне показатель упал до 2,4%. За тот же промежуток времени более ранняя модель нейросети улучшила свои способности. 

При этом в ходе генерации идентичных строк кода возможности обеих версий ChatGPT существенно ухудшились через несколько месяцев.

В марте старая модель предоставляла более подробные объяснения, почему не может ответить на некоторые деликатные вопросы, например об этнической принадлежности людей. Однако в июне обе версии нейросети начали просто извиняться.

«Поведение одного и того же сервиса большой языковой модели может существенно измениться за относительно короткий промежуток времени», — говорится в исследовании.

Эксперты рекомендовали пользователям и компаниям, которые полагаются на услуги нейросетей в рабочих процессах, внедрить форму анализа, чтобы гарантировать актуальность ботов.

Напомним, в июле разработчики ChatGPT выпустили новый плагин для платной версии, который может анализировать данные, создавать код на Python, строить графики и решать математические задачи. Чат-бот смог научно опровергнуть теорию «плоской Земли».