Когда алгоритм становится сказочником: Почему искусственный интеллект порой «галлюцинирует»

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Мнение | ИИ, сервисы и приложения

ИИ умеет писать стихи, решать задачи и даже вести диалоги. Но иногда он начинает «галлюцинировать» — придумывать факты, людей и события. Почему же машина, основанная на математике, вдруг ведёт себя как рассказчик-фантазёр?

Когда алгоритм становится сказочником

Представьте, вы спрашиваете у ИИ ссылку на научную статью — и получаете идеально оформленную цитату, которой… не существует. Ошибка? Да, но особенная. Искусственный интеллект не хранит энциклопедию в памяти, он строит ответ как «самую вероятную комбинацию слов».

Учёные Стэнфорда (Maynez и соавт., 2020) показали: модели особенно часто «выдумывают» детали в пересказах. Им важно не столько проверить факт, сколько завершить текст так, чтобы он звучал убедительно.

Автор: Mohamed Nohassi Источник: unsplash.com

Почему это происходит

Причин несколько:

  1. Мир вероятностей. Для ИИ слова — это не знания, а числа. Он просто продолжает цепочку там, где мы видим «историю».
  2. Неполные данные. Если модель училась на текстах с ошибками, ошибки будут жить и в её ответах.
  3. Сложные вопросы. Исследования британской компании и исследовательской лаборатории, которая специализируется на искусственном интеллекте DeepMind показали: чем более запутанный запрос, тем выше шанс, что модель «придумает» ответ.

Галлюцинации в цифрах и картинках

В Массачусетском технологическом институте (Ji и коллеги, 2022) изучали сотни ответов языковых моделей.

Итог: при редких вопросах до трети «фактов» оказывались вымышленными.

То же самое наблюдают и с генераторами изображений. В работе OpenAI модель DALL·E по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет.

Автор: ИИ Gemini Источник: gemini.google.com

Как минимизировать выдумки ИИ

Можно ли снизить риск «фантазий»? Да — и это во многом зависит от того, как мы используем модель:

  • Формулируйте запросы чётко. Чем яснее вопрос, тем меньше простора для выдумок.
  • Проверяйте факты. Особенно, если речь идёт о науке, медицине или истории.
  • Просите источники. ИИ может не всегда дать корректную ссылку, но он подскажет направление поиска.
  • Используйте несколько моделей. Сравнение ответов часто помогает отсеять ошибки.
  • Комбинируйте ИИ с базами знаний.

Примерысочитания ИИ с базами знаний:

  • Bing Chat (Copilot) — проверяет ответы через поиск и всегда показывает ссылки.
  • Perplexity AI — формирует краткий ответ с обязательным набором источников.
  • Elicit.org — помогает искать научные статьи по теме, напрямую подключаясь к базам данных.
  • ChatGPT с подключением к интернету — может уточнять и перепроверять данные в реальном времени.

Ошибка или особенность?

Можно ли назвать это дефектом? Или это новая форма «творчества»? Ведь способность придумывать — это то, что отличает художника от сухого справочника.

Вопрос к вам: если ИИ фантазирует, стоит ли мы бояться этого? Или лучше использовать «галлюцинации» там, где нужна креативность — в идеях, текстах, искусстве?

Заключение

Галлюцинации искусственного интеллекта — это не баг, а неизбежное следствие того, как он обучен. Он не видит мир напрямую, а только угадывает, как слова должны следовать друг за другом. Поэтому ИИ можно слушать как талантливого рассказчика, но проверять как строгий редактор.

Изображение в превью:
Автор: ИИ Gemini
Источник: gemini.google.com

9 комментариев

Добавить комментарий

b
Опасная вещь этот искусственный интеллект
coolivan
Да вы не переживайте. Во время появления интернета все думали что при доступности знаний все станут умными, и что? Все смотрят орнуху и занимают этим весь сетевой траффик! Я думаю тут будет точно так же, как только дойдет до добротной генерации видео, все начнут генерировать орнуху и займут этим все ресурсы ИИ!)))
s
В интернете много людей получают нужную информацию в проф деятельности. Это куда удобнее чем информация из книг. Так что да, люди стали с ним умнее.
coolivan
Обычный двухголовый фламинго, а что не так?
s
по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет
просили двухголового — вот вам двухголовый. Есть он или нет в природе — другой вопрос.
dimon-ru-80
Ну то что их нужно перепроверять это точно, что Gemini, что GPT. Причем начинают генерить чушь в вечернее время, видимо из за роста нагрузки на сервера.
Y
Надо произведение одного ИИ направлять на проверку другому производителю ИИ.
Так будет спасена честь ИИ.
s
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.
dimon-ru-80
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.

За деньги он хранит данные ))

Добавить комментарий

Сейчас на главной

Новости

Публикации

Ни одного резинового пассика: почему в деке «Вега МП-120» механику кассеты заменили тремя моторами

Детонометр при проверке типового одномоторного лентопротяжного механизма с пассиковым приводом на частоте 3150 Гц выдает средневзвешенное значение детонации от +-0,22% до +-0,3%. В заводском...

«Гинденбург» был наполнен водородом, но пассажирам разрешали курить

Перед посадкой на «Гинденбург» пассажиры сдавали спички и личные зажигалки. На борту при этом существовала отдельная курительная комната — с мягкой мебелью, баром по соседству и окнами,...

Ищем лучший процессор для бюджетного смартфона в 2026 году: хитрости времён кризиса

При выборе бюджетного смартфона стоит обращать внимание на модель процессора. Какой смысл от хорошей камеры или долгого времени работы, если смартфон не способен «потянуть» даже базовые задачи? Тогда

Птенцы казарки прыгают со скал, ещё не умея летать. Почему родители гнездятся так высоко?

В первые дни жизни птенцу белощёкой казарки нужно сделать то, на что не решился бы человек: покинуть гнездо на скальной полке и спуститься к родителям. Иногда между гнездом и...

2 жителя на 100 км²: как в таких условиях работает транспорт Эвенкии

Эвенкия — место удивительное. Здесь суровая природа, богатая история и особая культура коренных народов. Она занимает территорию площадью около 767,6 тысяч квадратных километров (это...