Cloudflare заставит ИИ-компании платить за контент издателей
habr.comКомпания Cloudflare установила для индустрии ИИ новый крайний срок для разделения веб-краулеров, используемых для традиционного поиска, например Google Search, от тех, которые используются для ИИ-агентов и обучения.
Начиная с 15 сентября 2026 года, настройки Cloudflare по умолчанию будут блокировать «смешанные» краулеры на страницах, содержащих рекламу.Это означает, что краулеры, которые сочетают поиск, использование в качестве агента и обучение, будут по умолчанию заблокированы для сканирования таких сайтов, если владелец не изменит настройки.
