Как часто ChatGPT ошибается? Разбор неточностей и паттернов

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Мнение | ИИ, сервисы и приложения

Генеративный искусственный интеллект, включая ChatGPT, стремительно набирает популярность как альтернатива традиционным поисковым системам. Но современные исследования показывают: эти инструменты часто демонстрируют паттерны ошибок, особенно в вопросах цитирования источников. В этой статье разберемся, насколько ChatGPT точен, какие ошибки совершает чаще всего и почему это важно для пользователей, редакторов и блогеров.

Источник: fusionbrain.ai

Уверенность или точность? Главная проблема ChatGPT

Согласно исследованию Tow Center для Columbia Journalism Review (2025), ChatGPT, как и другие ИИ-поисковики, склонен давать уверенные, но ошибочные ответы. Например, в 67% случаев (134 из 200 запросов) ChatGPT неправильно идентифицировал статьи, но лишь в 15 случаях признал неуверенность. Также в отличие от Copilot, который чаще отказывался отвечать, ChatGPT почти никогда не предупреждал пользователей о возможных неточностях.

Это создает «иллюзию надежности»: ИИ преподносит информацию авторитетно, даже если она недостоверна. Пользователи, особенно неискушенные, могут не заметить подвоха.

Автор: cjr Источник: www.cjr.org

5 ключевых паттерна ошибок

Игнорирование настроек сайтов. ChatGPT иногда обходит протокол (Robot Exclusion), который позволяет сайтам блокировать доступ для краулеров (поисковых роботов). Например, он цитировал статьи USA Today через Yahoo News, хотя сам издатель запретил доступ к своему контенту.

  • Ссылки на неправильные источники

В исследовании ИИ-поисковики часто путали оригинальные статьи с их синдицированными или пиратскими копиями. Так, Perplexity (и его премиум-версия) вместо Texas Tribune ссылались на неофициальные републикации, лишая издатель трафика.

  • Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки.

Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки. Например, в 154 из 200 случаев Grok 3 направлял на страницы с ошибкой 404. ChatGPT в этом аспекте оказался чуть лучше, но проблема актуальна для всех систем.

  • Премиум-версии ошибаются чаще

Платные модели (Perplexity Pro, Grok 3) давали больше правильных ответов, но чаще выдавали уверенные ошибки. Виной — стремление «не подвести» пользователя: вместо признания незнания ИИ предлагал домыслы.

OpenAI и Perplexity заключают сделки с издателями (The Guardian, Time, Texas Tribune), чтобы получить прямой доступ к контенту. Но исследование показало, что ChatGPT правильно определил лишь 1 из 10 статей San Francisco Chronicle, несмотря на партнерство, а Time, сотрудничающий и с OpenAI, и с Perplexity, всё равно сталкивался с ошибками атрибуции.

Даже при наличии договоренностей ИИ не гарантирует корректное цитирование. Как отметил Марк Ховард из Time: «Компании не обещали 100% точность».

Последствия для пользователей и СМИ

Для редакторов ошибки ИИ подрывают доверие к брендам. Например, если ChatGPT цитирует BBC с ошибкой, страдает репутация и СМИ, и самого ИИ.

Для аудитории последствием является то, что пользователи получают искаженную информацию, которую сложно проверить из-за фейковых ссылок.

Для монетизации тоже существует негативное влияние: издатели теряют трафик, когда ИИ направляет пользователей на сторонние платформы вместо оригинальных статей.

Будущее ИИ-поиска

Представители OpenAI заявили, что работают над улучшением цитирования и уважают настройки протоколов. Microsoft подчеркнула, что соблюдает протоколы блокировки поисковых роботов. Тем не менее, текущие данные показывают: прогресс медленный.

Пока пользователям стоит проверять информацию из ChatGPT через традиционный поиск. ChatGPT ошибается часто — в 67% случаев по данным исследования. Его ключевые слабости: чрезмерная уверенность, игнорирование правил издателей и некорректные ссылки. Пока ИИ-поисковики остаются не слишком надежными помощниками в работе с новостным контентом. Доверяй, но проверяй — главный совет для тех, кто использует эти инструменты.

Изображение в превью:
Автор: Fusionbrain
Источник: fusionbrain.ai
Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Cooperation for product reviews:
  • Почта: articlesinfohub@gmail.com

Для предложений по сотрудничеству пишите на почту.

2 комментария

Dmitry_Sh
Фейковые ссылки и «битые» URL
Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки. Например, в 154 из 200 случаев Grok 3 направлял на страницы с ошибкой 404. ChatGPT в этом аспекте оказался чуть лучше, но проблема актуальна для всех систем.
Некоторые чат-боты, включая Grok 3 и Gemini, генерировали несуществующие ссылки.
Например, в 154 из 200 случаев Grok 3 направлял на страницы с ошибкой 404. ChatGPT в этом аспекте оказался чуть лучше, но проблема актуальна для всех систем.

Это прям цитата из этой статьи. Улыбнуло. И здесь ИИ накосячил: в статье о косяках ИИ :)
Pchelkin
Chat GoPT — отстой! По крайней-мере, в плане содания текстового контента. Даже бесплатный дипсик и то, при прямых руках шедевры создает, правда за 3-5 заходов. Gemini PRO рулит в этом плане. А касательно ошибок, так научитесь правильные промты создавать, благо вам же их сам ИИ и создает! А касательно ссылок? Ну вы господа реально, «умные» для этого есть модели с открытым доступом в интернет, и они, как раз, могут вставлять реальные ссылки на реальные источники прямо в текст! В чем проблема? Не вижу проблем! Вижу тех, кто хочет простым запросом к ИИ получить шедевр не прилагая даже элементарных мозговых усилий, чтобы составить правильный запрос тому или иному ИИ. Учитесь работать, вот и все.

Добавить комментарий

Сейчас на главной

Новости

Публикации

Зачем нужен цифровой рубль, если уже существуют карты и СБП?

У рубля появилась форма, которую нельзя положить в кошелёк, снять в банкомате или перевести на вклад. Внешне расчёт ею почти не отличается от привычной оплаты телефоном. Однако за знакомым...

В 50 раз рыхлее молотого кофе: астероид Бенну оказался космической кучей щебня

20 октября 2020 года автоматическая межпланетная станция OSIRIS-REx достигла поверхности околоземного астероида Бенну. Главной задачей аппарата был сбор образцов первичного вещества Солнечной...

«Электроника ТА1-003»: как во Фрязино повторили прецизионную механику Revox A700

На заводском стенде во Фрязино инженеры проверяли новый катушечный магнитофон на аварийную остановку: бобину с лавсановой лентой толщиной 35 микрон раскручивали до десяти метров в секунду и резко...

Почему некоторые навыки невозможно развить, сколько бы вы ни тренировались: геометрия пластичности мозга

Интерфейсы «мозг — компьютер» создаются для того, чтобы человек мог управлять внешними приборами напрямую, с помощью электрических или сосудистых сигналов коры больших полушарий. С...

Египетская Припять: почему бросили целый город посреди пустыни

Если сегодня просмотреть цены на недвижимость, шок можно испытать такой, что фантастические фильмы Кристофера Нолана про черные дыры и рядом не стояли. В таких условиях кажется, что за любой дом в...

Сейсмологи научились точечно вычислять места сильнейших землетрясений

30 июля 2025 года у восточного побережья Камчатки произошло одно из мощнейших землетрясений в истории инструментальных наблюдений. Его моментная магнитуда составила 8,84. В этом регионе...