Cloudflare представила Robotcop для соблюдения политик robots.txt и блокировки ботов
habr.comCloudflare внедрила в панель управления аудита ИИ новую функцию, которую шутливо назвала Robotcop. Она позволит проверить, какие ИИ-службы соблюдают политики robots.txt, а какие нет, а затем программно применять эти политики.Панель аудита предоставляет сводку количества запросов, разбитых по ботам, а также позволяет фильтровать их по категориям, в том числе веб-сканеров.Robots.txt — это текстовый файл, который размещается на домене и реализует протокол исключения сканеров.
Он ограничивает доступ поисковым ботов к отдельным элементам и контенту сайта.В Cloudflare отметили, что с появлением генеративного ИИ соответствующие службы начали сканировать Интернет, чтобы собирать данные для обучения моделей.
