Cloudflare поставила Google ультиматум: раздели поисковый бот и ИИ-краулер — или будешь заблокирован
Cloudflare, через инфраструктуру которой проходит около 20% мирового веб-трафика, объявила, что с 15 сентября 2026 года краулеры, собирающие данные для обучения ИИ, и боты ИИ-агентов будут блокироваться по умолчанию на всех страницах с рекламой.
Под удар попадают и "гибридные" краулеры, которые совмещают несколько функций сразу: если сайт запрещает сбор данных для обучения, то Googlebot, Applebot и BingBot будут заблокированы целиком — даже там, где поисковые боты разрешены.
habr.com