Как часто ChatGPT ошибается? Разбор неточностей и паттернов

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Генеративный искусственный интеллект, включая ChatGPT, стремительно набирает популярность как альтернатива традиционным поисковым системам. Но современные исследования показывают: эти инструменты часто демонстрируют паттерны ошибок, особенно в вопросах цитирования источников. В этой статье разберемся, насколько ChatGPT точен, какие ошибки совершает чаще всего и почему это важно для пользователей, редакторов и блогеров.

Источник: fusionbrain.ai

Уверенность или точность? Главная проблема ChatGPT

Согласно исследованию Tow Center для Columbia Journalism Review (2025), ChatGPT, как и другие ИИ-поисковики, склонен давать уверенные, но ошибочные ответы. Например, в 67% случаев (134 из 200 запросов) ChatGPT неправильно идентифицировал статьи, но лишь в 15 случаях признал неуверенность. Также в отличие от Copilot, который чаще отказывался отвечать, ChatGPT почти никогда не предупреждал пользователей о возможных неточностях.

Это создает «иллюзию надежности»: ИИ преподносит информацию авторитетно, даже если она недостоверна. Пользователи, особенно неискушенные, могут не заметить подвоха.

Автор: cjr Источник: www.cjr.org

5 ключевых паттерна ошибок

Игнорирование настроек сайтов. ChatGPT иногда обходит протокол (Robot Exclusion), который позволяет сайтам блокировать доступ для краулеров (поисковых роботов). Например, он цитировал статьи USA Today через Yahoo News, хотя сам издатель запретил доступ к своему контенту.

  • Ссылки на неправильные источники

В исследовании ИИ-поисковики часто путали оригинальные статьи с их синдицированными или пиратскими копиями. Так, Perplexity (и его премиум-версия) вместо Texas Tribune ссылались на неофициальные републикации, лишая издатель трафика.

  • Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки.

Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки. Например, в 154 из 200 случаев Grok 3 направлял на страницы с ошибкой 404. ChatGPT в этом аспекте оказался чуть лучше, но проблема актуальна для всех систем.

  • Премиум-версии ошибаются чаще

Платные модели (Perplexity Pro, Grok 3) давали больше правильных ответов, но чаще выдавали уверенные ошибки. Виной — стремление «не подвести» пользователя: вместо признания незнания ИИ предлагал домыслы.

OpenAI и Perplexity заключают сделки с издателями (The Guardian, Time, Texas Tribune), чтобы получить прямой доступ к контенту. Но исследование показало, что ChatGPT правильно определил лишь 1 из 10 статей San Francisco Chronicle, несмотря на партнерство, а Time, сотрудничающий и с OpenAI, и с Perplexity, всё равно сталкивался с ошибками атрибуции.

Даже при наличии договоренностей ИИ не гарантирует корректное цитирование. Как отметил Марк Ховард из Time: «Компании не обещали 100% точность».

Последствия для пользователей и СМИ

Для редакторов ошибки ИИ подрывают доверие к брендам. Например, если ChatGPT цитирует BBC с ошибкой, страдает репутация и СМИ, и самого ИИ.

Для аудитории последствием является то, что пользователи получают искаженную информацию, которую сложно проверить из-за фейковых ссылок.

Для монетизации тоже существует негативное влияние: издатели теряют трафик, когда ИИ направляет пользователей на сторонние платформы вместо оригинальных статей.

Будущее ИИ-поиска

Представители OpenAI заявили, что работают над улучшением цитирования и уважают настройки протоколов. Microsoft подчеркнула, что соблюдает протоколы блокировки поисковых роботов. Тем не менее, текущие данные показывают: прогресс медленный.

Пока пользователям стоит проверять информацию из ChatGPT через традиционный поиск. ChatGPT ошибается часто — в 67% случаев по данным исследования. Его ключевые слабости: чрезмерная уверенность, игнорирование правил издателей и некорректные ссылки. Пока ИИ-поисковики остаются не слишком надежными помощниками в работе с новостным контентом. Доверяй, но проверяй — главный совет для тех, кто использует эти инструменты.

Изображение в превью:
Автор: Fusionbrain
Источник: fusionbrain.ai
Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе

Я благодарен iXBT.live, благодаря этому сервису смог создать онлайн-бизнес, к чему шел много лет. Могу сказать, что у меня сильно изменилась жизнь. Верьте в себя. Дарите добро тем, кого любите. На днях я снова улечу за границу. А сейчас выйду в огород, гляну на него, хоть на улице уже почти 8 часов вечера. Спасибо большое жизни. Во мне всегда есть желание изменить мир в хорошую, добрую сторону. Да, решил выплеснуть всё в один абзац <3

2 комментария

Dmitry_Sh
Фейковые ссылки и «битые» URL
Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки. Например, в 154 из 200 случаев Grok 3 направлял на страницы с ошибкой 404. ChatGPT в этом аспекте оказался чуть лучше, но проблема актуальна для всех систем.
Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки.
Например, в 154 из 200 случаев Grok 3 направлял на страницы с ошибкой 404. ChatGPT в этом аспекте оказался чуть лучше, но проблема актуальна для всех систем.

Это прям цитата из этой статьи. Улыбнуло. И здесь ИИ накосячил: в статье о косяках ИИ :)
Pchelkin
Chat GoPT — отстой! По крайней-мере, в плане содания текстового контента. Даже бесплатный дипсик и то, при прямых руках шедевры создает, правда за 3-5 заходов. Gemini PRO рулит в этом плане. А касательно ошибок, так научитесь правильные промты создавать, благо вам же их сам ИИ и создает! А касательно ссылок? Ну вы господа реально, «умные» для этого есть модели с открытым доступом в интернет, и они, как раз, могут вставлять реальные ссылки на реальные источники прямо в текст! В чем проблема? Не вижу проблем! Вижу тех, кто хочет простым запросом к ИИ получить шедевр не прилагая даже элементарных мозговых усилий, чтобы составить правильный запрос тому или иному ИИ. Учитесь работать, вот и все.

Добавить комментарий

Сейчас на главной

Новости

Публикации

Как увеличили емкость и срок службы литиевых батарей: отказ от графита дал рекордные 500 Вт·ч/кг

Современные литий-ионные аккумуляторы, которые питают смартфоны, ноутбуки и электромобили, подошли к пределу своих физических возможностей. Лучшие серийные образцы способны запасать около 250-300...

Обзор блока питания ID-COOLING FP-1000 — первая платина

Компания ID-COOLING известна, в первую очередь, своими системами охлаждения, в начале года они расшились и на сегмент компьютерных корпусов, а летом дело дошло и до блоков питания. Причем...

Обзор ILIFE H90 Pro: вертикальный пылесос для тех, кто не любит вытряхивать пыль

Когда я выбирал вертикальный пылесос, главным критерием было не наличие максимального количества функций, а удобство ежедневного использования. ILIFE H90 Pro привлёк внимание именно станцией...

Возвращаем YouTube на ПК и немного решаем проблемы с замедлением

Сервис YouTube на территории России, официально, давно перестал работать, но множество пользователей нашли обходные пути и продолжают им пользоваться. Однако в последние несколько дней сервис начал...

Хуанг пролюбил свой пост в Nvidia, а также возврат IPO Антропика: главное за неделю

Самые интересные новости финансов и технологий в России и мире за неделю: массовый сбой у Microsoft и американских аэропортов, SpaceX впервые поймал ракету роборукой, оценка Anthropic перед IPO...

Ученые создали «живые» искусственные мышцы для гуманоидных роботов: они играют на пианино и двигают глазами

Мышечная система человека решает две разные механические задачи. Крупные мышцы спины и ног рассчитаны на создание большой тяги и подъем тяжестей. В свою очередь, мелкие скелетные мышцы —...