Новейшие модели чат-бота ChatGPT стали давать менее точные ответы на идентичный ряд вопросов по прошествии нескольких месяцев. Об этом говорится в исследовании аналитиков Стэнфорда и Калифорнийского университета.
Авторы не смогли объяснить, почему ухудшаются возможности нейросети.
В рамках эксперимента аналитики попросили ChatGPT-3.5 и ChatGPT-4 решить ряд математических задач, ответить на деликатные вопросы, написать новые строки кода и продемонстрировать пространственное мышление с помощью подсказок.
В марте последняя версия искусственного интеллекта (ИИ) была способна идентифицировать простые числа с точностью 97,6%, а в июне показатель упал до 2,4%. За тот же промежуток времени более ранняя модель нейросети улучшила свои способности.
При этом в ходе генерации идентичных строк кода возможности обеих версий ChatGPT существенно ухудшились через несколько месяцев.
В марте старая модель предоставляла более подробные объяснения, почему не может ответить на некоторые деликатные вопросы, например об этнической принадлежности людей. Однако в июне обе версии нейросети начали просто извиняться.
«Поведение одного и того же сервиса большой языковой модели может существенно измениться за относительно короткий промежуток времени», — говорится в исследовании.
Эксперты рекомендовали пользователям и компаниям, которые полагаются на услуги нейросетей в рабочих процессах, внедрить форму анализа, чтобы гарантировать актуальность ботов.
Напомним, в июле разработчики ChatGPT выпустили новый плагин для платной версии, который может анализировать данные, создавать код на Python, строить графики и решать математические задачи. Чат-бот смог научно опровергнуть теорию «плоской Земли».
