OpenAI объяснила, почему ИИ «галлюцинирует» и как компания будет это исправлять

Компания OpenAI опубликовала результаты новой исследовательской работы, посвященной проблеме так называемых галлюцинаций в языковых моделях. Под этим термином специалисты понимают ситуации, когда искусственный интеллект выдает несуществующую или недостоверную информацию, но делает это очень убедительно, будто говорит правду. Такие ошибки могут вводить пользователей в заблуждение, и именно поэтому эта тема остается одной из ключевых в развитии современных систем ИИ.

По словам исследователей, главная причина появления галлюцинаций связана с самим процессом обучения моделей. Сегодня они «вознаграждаются» за догадки: при оценке учитывается только точность конечного ответа, а отсутствие ответа трактуется как ошибка. В результате модели чаще склонны «угадывать», даже если у них нет уверенности в знаниях. Это и приводит к ситуациям, когда ИИ предпочитает выдать сомнительный результат, чем честно признаться: «Я не знаю». Чтобы снизить количество подобных ошибок, OpenAI предлагает изменить сам подход к оценке качества работы моделей. В частности, разработчики считают, что нужно поощрять аккуратность и умение признавать неопределенность, а за уверенные, но неверные ответы стоит напротив, снижать оценку. Такой метод позволит сформировать у систем привычку «сдерживаться», если информации недостаточно, вместо того чтобы уверенно выдавать ложные данные. В компании подчеркивают, что даже самые новые модели, включая GPT-5, все еще не застрахованы от галлюцинаций. Тем не менее их частота уже значительно снизилась по сравнению с предыдущими поколениями. OpenAI признает: полностью устранить проблему пока не удалось, но работа в этом направлении ведется постоянно. Главной целью исследователей сейчас является сделать ИИ максимально надежным и полезным инструментом, который сможет помогать людям в разных сферах, не искажая факты и не создавая дезинформацию.

Источник: Notebookcheck