Perplexity обходит запреты на индексацию сайтов
habr.comКомпания Cloudflare, специализирующаяся на сетевой безопасности и оптимизации, опубликовала результаты расследования, согласно которому поисковая система с искусственным интеллектом Perplexity использует сложную систему обхода стандартных ограничений на индексацию веб-сайтов.По данным исследователей Cloudflare, Perplexity применяет незадекларированных ботов, которые активируются в случаях, когда официальные поисковые роботы компании сталкиваются с блокировками в файлах robots.txt или правилами брандмауэра.
Эти скрытые боты используют множество IP-адресов, не входящих в официальный диапазон Perplexity, и динамически переключаются между ними при обнаружении ограничений.Масштаб подобной деятельности оказался значительным — незаявленная активность зафиксирована на более чем 10 000 доменов с миллионами ежедневных запросов.
