Когда алгоритм становится сказочником: Почему искусственный интеллект порой «галлюцинирует»

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

ИИ умеет писать стихи, решать задачи и даже вести диалоги. Но иногда он начинает «галлюцинировать» — придумывать факты, людей и события. Почему же машина, основанная на математике, вдруг ведёт себя как рассказчик-фантазёр?

Когда алгоритм становится сказочником

Представьте, вы спрашиваете у ИИ ссылку на научную статью — и получаете идеально оформленную цитату, которой… не существует. Ошибка? Да, но особенная. Искусственный интеллект не хранит энциклопедию в памяти, он строит ответ как «самую вероятную комбинацию слов».

Учёные Стэнфорда (Maynez и соавт., 2020) показали: модели особенно часто «выдумывают» детали в пересказах. Им важно не столько проверить факт, сколько завершить текст так, чтобы он звучал убедительно.

Автор: Mohamed Nohassi Источник: unsplash.com

Почему это происходит

Причин несколько:

  1. Мир вероятностей. Для ИИ слова — это не знания, а числа. Он просто продолжает цепочку там, где мы видим «историю».
  2. Неполные данные. Если модель училась на текстах с ошибками, ошибки будут жить и в её ответах.
  3. Сложные вопросы. Исследования британской компании и исследовательской лаборатории, которая специализируется на искусственном интеллекте DeepMind показали: чем более запутанный запрос, тем выше шанс, что модель «придумает» ответ.

Галлюцинации в цифрах и картинках

В Массачусетском технологическом институте (Ji и коллеги, 2022) изучали сотни ответов языковых моделей.

Итог: при редких вопросах до трети «фактов» оказывались вымышленными.

То же самое наблюдают и с генераторами изображений. В работе OpenAI модель DALL·E по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет.

Автор: ИИ Gemini Источник: gemini.google.com

Как минимизировать выдумки ИИ

Можно ли снизить риск «фантазий»? Да — и это во многом зависит от того, как мы используем модель:

  • Формулируйте запросы чётко. Чем яснее вопрос, тем меньше простора для выдумок.
  • Проверяйте факты. Особенно, если речь идёт о науке, медицине или истории.
  • Просите источники. ИИ может не всегда дать корректную ссылку, но он подскажет направление поиска.
  • Используйте несколько моделей. Сравнение ответов часто помогает отсеять ошибки.
  • Комбинируйте ИИ с базами знаний.

Примерысочитания ИИ с базами знаний:

  • Bing Chat (Copilot) — проверяет ответы через поиск и всегда показывает ссылки.
  • Perplexity AI — формирует краткий ответ с обязательным набором источников.
  • Elicit.org — помогает искать научные статьи по теме, напрямую подключаясь к базам данных.
  • ChatGPT с подключением к интернету — может уточнять и перепроверять данные в реальном времени.

Ошибка или особенность?

Можно ли назвать это дефектом? Или это новая форма «творчества»? Ведь способность придумывать — это то, что отличает художника от сухого справочника.

Вопрос к вам: если ИИ фантазирует, стоит ли мы бояться этого? Или лучше использовать «галлюцинации» там, где нужна креативность — в идеях, текстах, искусстве?

Заключение

Галлюцинации искусственного интеллекта — это не баг, а неизбежное следствие того, как он обучен. Он не видит мир напрямую, а только угадывает, как слова должны следовать друг за другом. Поэтому ИИ можно слушать как талантливого рассказчика, но проверять как строгий редактор.

Изображение в превью:
Автор: ИИ Gemini
Источник: gemini.google.com

9 комментариев

Добавить комментарий

b
Опасная вещь этот искусственный интеллект
coolivan
Да вы не переживайте. Во время появления интернета все думали что при доступности знаний все станут умными, и что? Все смотрят орнуху и занимают этим весь сетевой траффик! Я думаю тут будет точно так же, как только дойдет до добротной генерации видео, все начнут генерировать орнуху и займут этим все ресурсы ИИ!)))
s
В интернете много людей получают нужную информацию в проф деятельности. Это куда удобнее чем информация из книг. Так что да, люди стали с ним умнее.
coolivan
Обычный двухголовый фламинго, а что не так?
s
по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет
просили двухголового — вот вам двухголовый. Есть он или нет в природе — другой вопрос.
dimon-ru-80
Ну то что их нужно перепроверять это точно, что Gemini, что GPT. Причем начинают генерить чушь в вечернее время, видимо из за роста нагрузки на сервера.
Y
Надо произведение одного ИИ направлять на проверку другому производителю ИИ.
Так будет спасена честь ИИ.
s
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.
dimon-ru-80
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.

За деньги он хранит данные ))

Добавить комментарий

Сейчас на главной

Новости

Публикации

Природа изобрела пластик до людей: как пчелы делают биоразлагаемый «целлофан» и чему у них учатся ученые

Около трети всего пластика, который производят в мире — это полиэтилен. Из него делают пакеты, пищевую пленку, контейнеры и упаковку для товаров повседневного спроса. Этот материал стал...

«Феррари» отдала победу Ферстаппену, а Антонелли стал чемпионом: итоги Гран-при Мехико Формулы-1 2026 года

Сезон Формулы-1 2026 года постепенно подходит к своему завершению. Уже на девятнадцатом этапе стало известно имя чемпиона. Как прошёл Гран-при Мехико, как «Феррари» отдала победу Максу Ферстаппену...

Обзор Kiwi Ears AD1: недорогой ЦАП с поддержкой CTIA

Мы много говорим о разнообразных портативных ЦАПах, однако пока ещё не касались предельно компактных, легких и недорогих решений на чипах от не особо именитых компаний. При том, что последние уже...

Создан компьютер из живых бактерий: как деление клеток в микроканалах заменяет работу процессора

В математике и программировании существует большой класс задач, которые легко сформулировать, но крайне трудно решить в большом масштабе. Их называют комбинаторными задачами полного перебора....

Парк Юрского периода ближе, чем кажется? Ученые нашли кровь динозавра возрастом 115 млн лет

Международная группа исследователей опубликовала в научном журнале Proceedings of the National Academy of Sciences статью, которая вызвала серьезные споры среди палеонтологов. Авторы работы изучили...

Почему на чае появляется «бензиновая» пленка, даже если чашка идеально чистая

На поверхности свежего чая иногда появляется тонкая блестящая пленка. Под лампой она напоминает масло или бензин на воде, а если провести ложкой, поверхность ломается на отдельные фрагменты. Чашку...