Сказать “нет” можно будет всем и сразу: Google, OpenAI, Anthropic и Microsoft поддержали единый стандарт защиты сайтов от AI-краулеров
gagadget.comКорпорации Google, OpenAI, Anthropic и Microsoft решили облегчить жизнь владельцам сайтов и согласились ввести и соблюдать новый единый стандарт для защиты контента от его использовании в обучении нейросетей.Как сообщило авторитетное профильное издание Search Engine Roundtable, теперь вместо того, чтобы вручную выискивать и блокировать краулеры каждого отдельного AI-разработчика, владельцы интернет-ресурсов смогут использовать общую директиву в файле robots.txt.
Инициатором этого нововведения выступил Кевин Келли, ведущий специалист по стандартам в компании Anthropic, а сам проект сейчас рассматривается в международной организации IETF.Суть метода проста: достаточно прописать в настройках специального агента `__usage_ai-training` и это позволит полностью запретить сбор данных для тренировки AI или же сделать исключения для определенных разделов — например, оставить открытым доступ к пресс-релизам.
