ИИ Perplexity брал данные даже с сайтов, которые разработчики запретили анализировать
gagadget.comCloudflare опубликовала исследование, из которого следует: Perplexity AI скрейпила (загружала и анализировала данные) веб-сайты, даже если те четко указали в robots.txt, что автоматический доступ запрещен.
Более того, система обходила защиту, меняя user agent (например, выдавая себя за Chrome на macOS) и переадресовывая трафик через различные ASN - "стелс-скрейпинг".Активность ИИ замечена на десятках тысяч доменов с миллионами запросов ежедневно, а Cloudflare смогла идентифицировать бота с помощью ML-моделей и сигналов сети.Perplexity - это поисковик на базе ИИ, который пытается быть более умной альтернативой Google, но с уклоном в конверсионный, диалоговый поиск.
