Когда алгоритм становится сказочником: Почему искусственный интеллект порой «галлюцинирует»

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Мнение | ИИ, сервисы и приложения

ИИ умеет писать стихи, решать задачи и даже вести диалоги. Но иногда он начинает «галлюцинировать» — придумывать факты, людей и события. Почему же машина, основанная на математике, вдруг ведёт себя как рассказчик-фантазёр?

Когда алгоритм становится сказочником

Представьте, вы спрашиваете у ИИ ссылку на научную статью — и получаете идеально оформленную цитату, которой… не существует. Ошибка? Да, но особенная. Искусственный интеллект не хранит энциклопедию в памяти, он строит ответ как «самую вероятную комбинацию слов».

Учёные Стэнфорда (Maynez и соавт., 2020) показали: модели особенно часто «выдумывают» детали в пересказах. Им важно не столько проверить факт, сколько завершить текст так, чтобы он звучал убедительно.

Автор: Mohamed Nohassi Источник: unsplash.com

Почему это происходит

Причин несколько:

  1. Мир вероятностей. Для ИИ слова — это не знания, а числа. Он просто продолжает цепочку там, где мы видим «историю».
  2. Неполные данные. Если модель училась на текстах с ошибками, ошибки будут жить и в её ответах.
  3. Сложные вопросы. Исследования британской компании и исследовательской лаборатории, которая специализируется на искусственном интеллекте DeepMind показали: чем более запутанный запрос, тем выше шанс, что модель «придумает» ответ.

Галлюцинации в цифрах и картинках

В Массачусетском технологическом институте (Ji и коллеги, 2022) изучали сотни ответов языковых моделей.

Итог: при редких вопросах до трети «фактов» оказывались вымышленными.

То же самое наблюдают и с генераторами изображений. В работе OpenAI модель DALL·E по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет.

Автор: ИИ Gemini Источник: gemini.google.com

Как минимизировать выдумки ИИ

Можно ли снизить риск «фантазий»? Да — и это во многом зависит от того, как мы используем модель:

  • Формулируйте запросы чётко. Чем яснее вопрос, тем меньше простора для выдумок.
  • Проверяйте факты. Особенно, если речь идёт о науке, медицине или истории.
  • Просите источники. ИИ может не всегда дать корректную ссылку, но он подскажет направление поиска.
  • Используйте несколько моделей. Сравнение ответов часто помогает отсеять ошибки.
  • Комбинируйте ИИ с базами знаний.

Примерысочитания ИИ с базами знаний:

  • Bing Chat (Copilot) — проверяет ответы через поиск и всегда показывает ссылки.
  • Perplexity AI — формирует краткий ответ с обязательным набором источников.
  • Elicit.org — помогает искать научные статьи по теме, напрямую подключаясь к базам данных.
  • ChatGPT с подключением к интернету — может уточнять и перепроверять данные в реальном времени.

Ошибка или особенность?

Можно ли назвать это дефектом? Или это новая форма «творчества»? Ведь способность придумывать — это то, что отличает художника от сухого справочника.

Вопрос к вам: если ИИ фантазирует, стоит ли мы бояться этого? Или лучше использовать «галлюцинации» там, где нужна креативность — в идеях, текстах, искусстве?

Заключение

Галлюцинации искусственного интеллекта — это не баг, а неизбежное следствие того, как он обучен. Он не видит мир напрямую, а только угадывает, как слова должны следовать друг за другом. Поэтому ИИ можно слушать как талантливого рассказчика, но проверять как строгий редактор.

Изображение в превью:
Автор: ИИ Gemini
Источник: gemini.google.com

9 комментариев

b
Опасная вещь этот искусственный интеллект
coolivan
Да вы не переживайте. Во время появления интернета все думали что при доступности знаний все станут умными, и что? Все смотрят орнуху и занимают этим весь сетевой траффик! Я думаю тут будет точно так же, как только дойдет до добротной генерации видео, все начнут генерировать орнуху и займут этим все ресурсы ИИ!)))
s
В интернете много людей получают нужную информацию в проф деятельности. Это куда удобнее чем информация из книг. Так что да, люди стали с ним умнее.
coolivan
Обычный двухголовый фламинго, а что не так?
s
по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет
просили двухголового — вот вам двухголовый. Есть он или нет в природе — другой вопрос.
dimon-ru-80
Ну то что их нужно перепроверять это точно, что Gemini, что GPT. Причем начинают генерить чушь в вечернее время, видимо из за роста нагрузки на сервера.
Y
Надо произведение одного ИИ направлять на проверку другому производителю ИИ.
Так будет спасена честь ИИ.
s
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.
dimon-ru-80
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.

За деньги он хранит данные ))

Добавить комментарий

Сейчас на главной

Новости

Публикации

Испания вращается по часовой стрелке: как сближение Африки и Евразии деформирует Иберийский полуостров

Взаимодействие литосферных плит представляют собой обширные зоны деформации, шириной в сотни километров, где действуют разнонаправленные силы. Новое исследование, опубликованное в журнале Gondwana...

Обзор вертикального пылесоса Redmond VH1333: удобная уборка без проводов

Вертикальный беспроводной пылесос Redmond VH1333 — это новинка 2025 года и при стоимости в 12 тыс. рублей данная модель обладает силой всасывания 19 кПа и имеет 3 режима выбора мощности....

Роль борьбы с загрязнением в скачке глобального потепления переоценена: новые выводы о тепловом дисбалансе

В последние два десятилетия энергетический дисбаланс Земли очень сильно вырос. Планета поглощает значительно больше солнечной радиации, чем излучает обратно в космос. Научное сообщество связывало...

Задолго до Мегалодона: акулы стали гигантами на 15 миллионов лет раньше, чем считала наука

В популярной культуре океан мелового периода — это вотчина гигантских морских рептилий: длинношеих плезиозавров и свирепых мозазавров, разрывающих добычу на части. Акулам в этом сценарии...

Как скульптуры с Аничкова моста оказались в Берлине и Неаполе

Невский проспект невозможно представить без знаменитых силуэтов на Аничковом мосту. Четыре скульптурные группы, известные как «Укротители коней», давно переросли роль обычного городского декора....

Города-праздники России: куда поехать встречать Новый год, чтобы запомнить праздничное путешествие на всю жизнь

Где встретить Новый год в России? Города-праздники – это не только Москва или Санкт-Петербург. Лучшие направления для яркого и незабываемого новогоднего путешествия.