Как часто ChatGPT ошибается? Разбор неточностей и паттернов

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Мнение | ИИ, сервисы и приложения

Генеративный искусственный интеллект, включая ChatGPT, стремительно набирает популярность как альтернатива традиционным поисковым системам. Но современные исследования показывают: эти инструменты часто демонстрируют паттерны ошибок, особенно в вопросах цитирования источников. В этой статье разберемся, насколько ChatGPT точен, какие ошибки совершает чаще всего и почему это важно для пользователей, редакторов и блогеров.

Источник: fusionbrain.ai

Уверенность или точность? Главная проблема ChatGPT

Согласно исследованию Tow Center для Columbia Journalism Review (2025), ChatGPT, как и другие ИИ-поисковики, склонен давать уверенные, но ошибочные ответы. Например, в 67% случаев (134 из 200 запросов) ChatGPT неправильно идентифицировал статьи, но лишь в 15 случаях признал неуверенность. Также в отличие от Copilot, который чаще отказывался отвечать, ChatGPT почти никогда не предупреждал пользователей о возможных неточностях.

Это создает «иллюзию надежности»: ИИ преподносит информацию авторитетно, даже если она недостоверна. Пользователи, особенно неискушенные, могут не заметить подвоха.

Автор: cjr Источник: www.cjr.org

5 ключевых паттерна ошибок

Игнорирование настроек сайтов. ChatGPT иногда обходит протокол (Robot Exclusion), который позволяет сайтам блокировать доступ для краулеров (поисковых роботов). Например, он цитировал статьи USA Today через Yahoo News, хотя сам издатель запретил доступ к своему контенту.

  • Ссылки на неправильные источники

В исследовании ИИ-поисковики часто путали оригинальные статьи с их синдицированными или пиратскими копиями. Так, Perplexity (и его премиум-версия) вместо Texas Tribune ссылались на неофициальные републикации, лишая издатель трафика.

  • Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки.

Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки. Например, в 154 из 200 случаев Grok 3 направлял на страницы с ошибкой 404. ChatGPT в этом аспекте оказался чуть лучше, но проблема актуальна для всех систем.

  • Премиум-версии ошибаются чаще

Платные модели (Perplexity Pro, Grok 3) давали больше правильных ответов, но чаще выдавали уверенные ошибки. Виной — стремление «не подвести» пользователя: вместо признания незнания ИИ предлагал домыслы.

OpenAI и Perplexity заключают сделки с издателями (The Guardian, Time, Texas Tribune), чтобы получить прямой доступ к контенту. Но исследование показало, что ChatGPT правильно определил лишь 1 из 10 статей San Francisco Chronicle, несмотря на партнерство, а Time, сотрудничающий и с OpenAI, и с Perplexity, всё равно сталкивался с ошибками атрибуции.

Даже при наличии договоренностей ИИ не гарантирует корректное цитирование. Как отметил Марк Ховард из Time: «Компании не обещали 100% точность».

Последствия для пользователей и СМИ

Для редакторов ошибки ИИ подрывают доверие к брендам. Например, если ChatGPT цитирует BBC с ошибкой, страдает репутация и СМИ, и самого ИИ.

Для аудитории последствием является то, что пользователи получают искаженную информацию, которую сложно проверить из-за фейковых ссылок.

Для монетизации тоже существует негативное влияние: издатели теряют трафик, когда ИИ направляет пользователей на сторонние платформы вместо оригинальных статей.

Будущее ИИ-поиска

Представители OpenAI заявили, что работают над улучшением цитирования и уважают настройки протоколов. Microsoft подчеркнула, что соблюдает протоколы блокировки поисковых роботов. Тем не менее, текущие данные показывают: прогресс медленный.

Пока пользователям стоит проверять информацию из ChatGPT через традиционный поиск. ChatGPT ошибается часто — в 67% случаев по данным исследования. Его ключевые слабости: чрезмерная уверенность, игнорирование правил издателей и некорректные ссылки. Пока ИИ-поисковики остаются не слишком надежными помощниками в работе с новостным контентом. Доверяй, но проверяй — главный совет для тех, кто использует эти инструменты.

Изображение в превью:
Автор: Fusionbrain
Источник: fusionbrain.ai
Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Cooperation for product reviews:
  • Почта: articlesinfohub@gmail.com
  • Telegram: @ImMaksims

Для предложений по сотрудничеству пишите на почту или в Telegram.

2 комментария

Dmitry_Sh
Фейковые ссылки и «битые» URL
Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки. Например, в 154 из 200 случаев Grok 3 направлял на страницы с ошибкой 404. ChatGPT в этом аспекте оказался чуть лучше, но проблема актуальна для всех систем.
Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки.
Например, в 154 из 200 случаев Grok 3 направлял на страницы с ошибкой 404. ChatGPT в этом аспекте оказался чуть лучше, но проблема актуальна для всех систем.

Это прям цитата из этой статьи. Улыбнуло. И здесь ИИ накосячил: в статье о косяках ИИ :)
Pchelkin
Chat GoPT — отстой! По крайней-мере, в плане содания текстового контента. Даже бесплатный дипсик и то, при прямых руках шедевры создает, правда за 3-5 заходов. Gemini PRO рулит в этом плане. А касательно ошибок, так научитесь правильные промты создавать, благо вам же их сам ИИ и создает! А касательно ссылок? Ну вы господа реально, «умные» для этого есть модели с открытым доступом в интернет, и они, как раз, могут вставлять реальные ссылки на реальные источники прямо в текст! В чем проблема? Не вижу проблем! Вижу тех, кто хочет простым запросом к ИИ получить шедевр не прилагая даже элементарных мозговых усилий, чтобы составить правильный запрос тому или иному ИИ. Учитесь работать, вот и все.

Добавить комментарий

Сейчас на главной

Новости

Публикации

Вселенная состоит из «пикселей»: как отказ от непрерывной математики решает главные парадоксы квантовой физики

В своих знаменитых лекциях Ричард Фейнман неоднократно подчеркивал, что квантовая интерференция — это единственная настоящая загадка квантовой механики. Из этого явления прямо или...

Суперкорабль Архимеда: какой была Сиракузия и зачем её строили

Если вы думаете, что круизные лайнеры со спортзалами, бассейнами и библиотеками — это достижение последних ста лет, то познакомьтесь с кораблём, который опередил своё время примерно на...

Почему автомобиль Lotus Seven продавали вместе с руководством по его разборке

В середине двадцатого века британская автомобильная промышленность переживала период активной трансформации. На фоне послевоенного восстановления экономики инженеры и конструкторы искали способы...

Почему «OK» стало универсальным словом согласия на всех языках мира

В современном мире трудно найти человека, который бы не понимал слово «OK». Две короткие буквы используются в чатах и деловых переговорах. Его можно услышать в любой точке планеты. Оно...

Как колодец в Индии стал архитектурным чудом и почему сейчас из него нельзя пить

Ну вообще-то назвать Чанд-Баори обычным колодцем всё равно что обозвать египетские пирамиды всего лишь каменными горками. Да, технически его построили для сбора воды. Но, как часто бывает с людьми,...

Подземный мегаполис Китая: зачем Мао Цзэдун приказал построить вторую столицу под Пекином

В конце 1960-х годов напряжённость между Китаем и Советским Союзом достигла критической точки. Пограничный конфликт на острове Даманский (Жэньбао) в 1969 году стал катализатором страхов перед...