Когда алгоритм становится сказочником: Почему искусственный интеллект порой «галлюцинирует»

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Мнение | ИИ, сервисы и приложения

ИИ умеет писать стихи, решать задачи и даже вести диалоги. Но иногда он начинает «галлюцинировать» — придумывать факты, людей и события. Почему же машина, основанная на математике, вдруг ведёт себя как рассказчик-фантазёр?

Когда алгоритм становится сказочником

Представьте, вы спрашиваете у ИИ ссылку на научную статью — и получаете идеально оформленную цитату, которой… не существует. Ошибка? Да, но особенная. Искусственный интеллект не хранит энциклопедию в памяти, он строит ответ как «самую вероятную комбинацию слов».

Учёные Стэнфорда (Maynez и соавт., 2020) показали: модели особенно часто «выдумывают» детали в пересказах. Им важно не столько проверить факт, сколько завершить текст так, чтобы он звучал убедительно.

Автор: Mohamed Nohassi Источник: unsplash.com

Почему это происходит

Причин несколько:

  1. Мир вероятностей. Для ИИ слова — это не знания, а числа. Он просто продолжает цепочку там, где мы видим «историю».
  2. Неполные данные. Если модель училась на текстах с ошибками, ошибки будут жить и в её ответах.
  3. Сложные вопросы. Исследования британской компании и исследовательской лаборатории, которая специализируется на искусственном интеллекте DeepMind показали: чем более запутанный запрос, тем выше шанс, что модель «придумает» ответ.

Галлюцинации в цифрах и картинках

В Массачусетском технологическом институте (Ji и коллеги, 2022) изучали сотни ответов языковых моделей.

Итог: при редких вопросах до трети «фактов» оказывались вымышленными.

То же самое наблюдают и с генераторами изображений. В работе OpenAI модель DALL·E по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет.

Автор: ИИ Gemini Источник: gemini.google.com

Как минимизировать выдумки ИИ

Можно ли снизить риск «фантазий»? Да — и это во многом зависит от того, как мы используем модель:

  • Формулируйте запросы чётко. Чем яснее вопрос, тем меньше простора для выдумок.
  • Проверяйте факты. Особенно, если речь идёт о науке, медицине или истории.
  • Просите источники. ИИ может не всегда дать корректную ссылку, но он подскажет направление поиска.
  • Используйте несколько моделей. Сравнение ответов часто помогает отсеять ошибки.
  • Комбинируйте ИИ с базами знаний.

Примерысочитания ИИ с базами знаний:

  • Bing Chat (Copilot) — проверяет ответы через поиск и всегда показывает ссылки.
  • Perplexity AI — формирует краткий ответ с обязательным набором источников.
  • Elicit.org — помогает искать научные статьи по теме, напрямую подключаясь к базам данных.
  • ChatGPT с подключением к интернету — может уточнять и перепроверять данные в реальном времени.

Ошибка или особенность?

Можно ли назвать это дефектом? Или это новая форма «творчества»? Ведь способность придумывать — это то, что отличает художника от сухого справочника.

Вопрос к вам: если ИИ фантазирует, стоит ли мы бояться этого? Или лучше использовать «галлюцинации» там, где нужна креативность — в идеях, текстах, искусстве?

Заключение

Галлюцинации искусственного интеллекта — это не баг, а неизбежное следствие того, как он обучен. Он не видит мир напрямую, а только угадывает, как слова должны следовать друг за другом. Поэтому ИИ можно слушать как талантливого рассказчика, но проверять как строгий редактор.

Изображение в превью:
Автор: ИИ Gemini
Источник: gemini.google.com

9 комментариев

Добавить комментарий

b
Опасная вещь этот искусственный интеллект
coolivan
Да вы не переживайте. Во время появления интернета все думали что при доступности знаний все станут умными, и что? Все смотрят орнуху и занимают этим весь сетевой траффик! Я думаю тут будет точно так же, как только дойдет до добротной генерации видео, все начнут генерировать орнуху и займут этим все ресурсы ИИ!)))
s
В интернете много людей получают нужную информацию в проф деятельности. Это куда удобнее чем информация из книг. Так что да, люди стали с ним умнее.
coolivan
Обычный двухголовый фламинго, а что не так?
s
по запросу «двухголовый фламинго» выдала птицу, похожую на правду… но такого вида в природе нет
просили двухголового — вот вам двухголовый. Есть он или нет в природе — другой вопрос.
dimon-ru-80
Ну то что их нужно перепроверять это точно, что Gemini, что GPT. Причем начинают генерить чушь в вечернее время, видимо из за роста нагрузки на сервера.
Y
Надо произведение одного ИИ направлять на проверку другому производителю ИИ.
Так будет спасена честь ИИ.
s
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.
dimon-ru-80
Раз это не баг а фича, и он не хранит данные, может вы сделаете вывод, что это не ии, а просто такой алгоритм выдачи ответа и прекратите нейронные сети называть ии, это глупо.

За деньги он хранит данные ))

Добавить комментарий

Сейчас на главной

Новости

Публикации

Ученые научились выключать «гормон любви»: почему точечная блокировка окситоцина поможет в изучении мозга

Окситоцин и вазопрессин — это нейропептиды, которые выполняют ключевые функции в организме млекопитающих. Их эволюционная история насчитывает около 600 миллионов лет, и за это время они...

Призраков не существует: новая математическая структура объяснила эффект темной материи без невидимых частиц

Галактики вращаются слишком быстро. Окраины спиральных структур движутся с такой скоростью, что гравитация видимого вещества — всех существующих там звезд, планет и газовых...

Почему Трухильо называют городом вечной весны и стоит ли его посетить

Погода не устает мучить людей своими перепадами: летом становится невыносимо жарко, зимой заваливает снегом, и вообще хочется вечной весны с ее умеренными температурами, но это лишь мечты…...

Борода: 5 причин, почему на Руси берегли растительность на лице (от штрафов до Шнобелевки)

  • Тематическая подборка
  • Оффтопик
Почему борода на Руси стоила дороже пальца и как она помогала выжить в драке? 5 причин: от пропуска в Рай до бунта против бритвы. Как обычная растительность на лице стала символом свободы и веры.

FiiO опять взялись за старое: представлен автоматический виниловый проигрыватель TT11

Индустрия воспроизведения звука с виниловых пластинок пока еще на подъеме, выпускают новые музыкальные релизы на пластинках, производят проигрыватели в разных ценовых диапазонах. Это даже модно....

Группа «БиС» воссоединилась спустя 17 лет на концерте Влада Соколовского: как это было

Девятого апреля во время сольного концерта российского певца Влада Соколовского было объявлено о воссоединении группы «БиС», распавшейся 17 лет назад. На сцене появился Дмитрий Бикбаев, второй...