Cloudflare пересматривает правила работы краулеров из-за развития искусственного интеллекта
gagadget.comКомпания Cloudflare сообщила об изменениях в правилах работы с веб-сканерами, которые используют компании в сфере ИИ. Платформа планирует автоматически блокировать так называемых смешанных краулеров — ботов, которые выполняют сразу несколько задач: собирают данные для обучения моделей искусственного интеллекта, индексируют сайты и обеспечивают работу ИИ-агентов.Ранее владельцы сайтов могли самостоятельно настраивать доступ таких систем к своему контенту.
После изменений часть ограничений будет применяться автоматически.Генеральный директор и сооснователь Cloudflare Мэттью Принс заявил, что большинство интернет-трафика в настоящее время генерируется автоматизированными системами, а не пользователями.
