Microsoft предупреждает о возможности странного поведения её чат-бота в поисковике Bing. Такое поведение уже прозвали галлюцинациями ИИ

Это свойственно всем подобным языковым моделям

Компания Microsoft предупреждает, что её чат-бот, который в рамках ограниченного тестирования интегрирован в поисковик Bing, может страдать от галлюцинаций. 

Компания говорит, что в ходе тестирования обнаружила, что в длинных расширенных сеансах чата, состоящих из 15 и более вопросов, Bing может дать ответы, которые не обязательно полезны или соответствуют заданным компанией параметрам.  

Microsoft выделяет две основных причины. Во-первых, это очень длинные сеансы чата, которые могут запутать модель в том, на какие вопросы она отвечает. Компания думает о том, чтобы добавить возможность пользователям быстро обнулять чат. Во-вторых, языковая модель иногда пытается ответить в стиле, в рамках которого ее просят предоставить ответы, что может привести к результатам, которые изначально Microsoft не планировала. Но в данном случае компания отмечает, что такое происходит очень редко.  

Галлюцинациями у чат-ботов, в первую очередь, конечно, у ChatGPT, но не только у него, называют явление, когда искусственный интеллект генерирует выходные данные, которые отклоняются от того, что можно было бы считать нормальным или ожидаемым на основе увиденных обучающих данных. Проще говоря, ИИ попросту даёт совершенно неверный ответ на какой-либо вопрос. Можно было бы сказать, что чат-бот в таком случае врёт, но вряд ли это корректно относительно ИИ в данном состоянии.