Большие чат-боты на базе искусственного интеллекта (ИИ) стали чаще допускать ошибки при ответах на сложные вопросы. Исследование, опубликованное в журнале Nature, показало, что чат-боты, вместо того чтобы признавать свое незнание, стали давать неверные ответы.
Автор исследования Хосе Эрнандес-Оралло из Валенсийского института искусственного интеллекта в Испании провел тестирование трех крупнейших чат-ботов, основанных на передовых ИИ-моделях. Согласно его выводам, чат-боты стали значительно умнее по сравнению с предыдущими версиями, но при этом начали чаще ошибаться, вместо того чтобы говорить «я не знаю».
Ученый и его коллеги изучили три семейства больших языковых моделей (LLM), включая GPT от OpenAI, BLOOM и модель, разработанную академической группой BigScience. В ходе эксперимента исследователи задавали сложные вопросы и математические задачи. Результаты показали, что модели стали более интеллектуальными, но также начали давать неправильные ответы на простые вопросы.
Эрнандес-Оралло заявил, что создателям моделей необходимо внести изменения, чтобы чат-боты могли пропускать вопросы, на которые они не знают ответа. В противном случае, по мнению ученых, ИИ будет вводить пользователей в заблуждение.
В конце сентября исследователи из фирмы AMCI Testing обнаружили, что новая версия автопилота Tesla склонна к рискованным действиям, включая проезд на красный свет светофора и потенциально опасные ситуации на дороге.
