Cloudflare обнаружила нарушение веб-этики: Perplexity игнорирует запреты на сканирование сайтов

Компания Cloudflare, специализирующаяся на сетевой безопасности и оптимизации, опубликовала результаты расследования, согласно которому поисковая система с искусственным интеллектом Perplexity использует сложную систему обхода стандартных ограничений на индексацию веб-сайтов.

По данным исследователей Cloudflare, Perplexity применяет незадекларированных ботов, которые активируются в случаях, когда официальные поисковые роботы компании сталкиваются с блокировками в файлах robots. txt или правилами брандмауэра. Эти скрытые боты используют множество IP-адресов, не входящих в официальный диапазон Perplexity, и динамически переключаются между ними при обнаружении ограничений.

Масштаб подобной деятельности оказался значительным — незаявленная активность зафиксирована на более чем 10 000 доменов с миллионами ежедневных запросов. Исследователи Cloudflare отмечают, что подобные методы противоречат интернет-нормам, существующим с 1994 года, когда был предложен протокол исключения роботов, ставший официальным стандартом Инженерной рабочей группы Интернета в 2022 году.

В ответ на выявленные нарушения Cloudflare исключила Perplexity из списка проверенных ботов и внедрила новые алгоритмы в свои управляемые правила для блокировки скрытого сканирования. Компания подчеркивает, что для поисковых роботов существуют четкие требования прозрачности и соблюдения директив веб-сайтов.

Это не первый случай, когда Perplexity сталкивается с подобными обвинениями. Ранее генеральный директор Reddit Стив Хаффман заявлял о сложностях в блокировке доступа Perplexity к контенту платформы. Кроме того, издания Forbes и Wired выдвигали обвинения в плагиате, указывая на подозрительные схемы трафика с IP-адресов, предположительно связанных с Perplexity, и манипуляции с идентификационной строкой поисковых роботов компании.

На момент публикации представители Perplexity не предоставили комментариев относительно обвинений со стороны Cloudflare, что оставляет открытым вопрос о законности методов индексации, используемых данной системой искусственного интеллекта.

Источник: Ars Technica