Когда алгоритм становится сказочником: Почему искусственный интеллект порой «галлюцинирует»

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Мнение | ИИ, сервисы и приложения

ИИ умеет писать стихи, решать задачи и даже вести диалоги. Но иногда он начинает «галлюцинировать» — придумывать факты, людей и события. Почему же машина, основанная на математике, вдруг ведёт себя как рассказчик-фантазёр?

Когда алгоритм становится сказочником

Представьте, вы спрашиваете у ИИ ссылку на научную статью — и получаете идеально оформленную цитату, которой… не существует. Ошибка? Да, но особенная. Искусственный интеллект не хранит энциклопедию в памяти, он строит ответ как «самую вероятную комбинацию слов».

Учёные Стэнфорда (Maynez и соавт., 2020) показали: модели особенно часто «выдумывают» детали в пересказах. Им важно не столько проверить факт, сколько завершить текст так, чтобы он звучал убедительно.

Автор: Mohamed Nohassi Источник: unsplash.com

Почему это происходит

Причин несколько:

  1. Мир вероятностей. Для ИИ слова — это не знания, а числа. Он просто продолжает цепочку там, где мы видим «историю».
  2. Неполные данные. Если модель училась на текстах с ошибками, ошибки будут жить и в её ответах.
  3. Сложные вопросы. Исследования британской компании и исследовательской лаборатории, которая специализируется на искусственном интеллекте DeepMind показали: чем более запутанный запрос, тем выше шанс, что модель «придумает» ответ.

Галлюцинации в цифрах и картинках

В Массачусетском технологическом институте (Ji и коллеги, 2022) изучали сотни ответов языковых моделей.

Итог: при редких вопросах до трети «фактов» оказывались вымышленными.

То же самое наблюдают и с генераторами изображений. В работе OpenAI модель DALL·E по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет.

Автор: ИИ Gemini Источник: gemini.google.com

Как минимизировать выдумки ИИ

Можно ли снизить риск «фантазий»? Да — и это во многом зависит от того, как мы используем модель:

  • Формулируйте запросы чётко. Чем яснее вопрос, тем меньше простора для выдумок.
  • Проверяйте факты. Особенно, если речь идёт о науке, медицине или истории.
  • Просите источники. ИИ может не всегда дать корректную ссылку, но он подскажет направление поиска.
  • Используйте несколько моделей. Сравнение ответов часто помогает отсеять ошибки.
  • Комбинируйте ИИ с базами знаний.

Примерысочитания ИИ с базами знаний:

  • Bing Chat (Copilot) — проверяет ответы через поиск и всегда показывает ссылки.
  • Perplexity AI — формирует краткий ответ с обязательным набором источников.
  • Elicit.org — помогает искать научные статьи по теме, напрямую подключаясь к базам данных.
  • ChatGPT с подключением к интернету — может уточнять и перепроверять данные в реальном времени.

Ошибка или особенность?

Можно ли назвать это дефектом? Или это новая форма «творчества»? Ведь способность придумывать — это то, что отличает художника от сухого справочника.

Вопрос к вам: если ИИ фантазирует, стоит ли мы бояться этого? Или лучше использовать «галлюцинации» там, где нужна креативность — в идеях, текстах, искусстве?

Заключение

Галлюцинации искусственного интеллекта — это не баг, а неизбежное следствие того, как он обучен. Он не видит мир напрямую, а только угадывает, как слова должны следовать друг за другом. Поэтому ИИ можно слушать как талантливого рассказчика, но проверять как строгий редактор.

Изображение в превью:
Автор: ИИ Gemini
Источник: gemini.google.com

9 комментариев

b
Опасная вещь этот искусственный интеллект
coolivan
Да вы не переживайте. Во время появления интернета все думали что при доступности знаний все станут умными, и что? Все смотрят орнуху и занимают этим весь сетевой траффик! Я думаю тут будет точно так же, как только дойдет до добротной генерации видео, все начнут генерировать орнуху и займут этим все ресурсы ИИ!)))
s
В интернете много людей получают нужную информацию в проф деятельности. Это куда удобнее чем информация из книг. Так что да, люди стали с ним умнее.
coolivan
Обычный двухголовый фламинго, а что не так?
s
по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет
просили двухголового — вот вам двухголовый. Есть он или нет в природе — другой вопрос.
dimon-ru-80
Ну то что их нужно перепроверять это точно, что Gemini, что GPT. Причем начинают генерить чушь в вечернее время, видимо из за роста нагрузки на сервера.
Y
Надо произведение одного ИИ направлять на проверку другому производителю ИИ.
Так будет спасена честь ИИ.
s
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.
dimon-ru-80
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.

За деньги он хранит данные ))

Добавить комментарий

Сейчас на главной

Новости

Публикации

Кошмар Микеланджело: как физики решили проблему капающей краски, мешавшую «Сотворению Адама»

В 1511 году, создавая фреску «Сотворение Адама» на своде Сикстинской капеллы, Микеланджело Буонарроти столкнулся с физической проблемой. Работая на лесах, художник был вынужден наносить пигмент на...

Мир отмечает День числа Пи: как константа 3,14 вышла за пределы геометрии и стала управлять аппаратами «Вояджер»

В школьной программе математики число Пи часто сводится к короткой и удобной дроби 3,14. Учителя объясняют, что это постоянная величина, которая обозначает отношение длины любой окружности к ее...

Страна, которая строит крылья для Boeing: почему Япония так и не смогла создать собственный пассажирский авиалайнер

Япония — одна из ведущих технологических держав мира, страна, которая производит высокоточные компоненты для практически всех современных пассажирских самолётов Boeing и Airbus. Однако,...

Обзор TWS наушников Realme Buds Air7 Pro: аудиофильский кодек, встроенный ИИ-переводчик и 10 часов на одном заряде

Realme давно научилась делать устройства, которые выглядят и ощущаются дороже своей цены. Buds Air7 Pro — наглядное тому подтверждение. Это не бюджетная «затычка для звонков» и не...

Как мошенники берут кредиты через старые SIM-карты и забытые счета — и почему это опасно

В последние годы все чаще появляются истории, когда человек неожиданно узнает о кредите, который он никогда не оформлял. Иногда это происходит спустя месяцы или даже годы после того, как был утерян...