Microsoft попросила издателей не блокировать ботов с ИИ
habr.comMicrosoft попросила издателей и розничных продавцов позволить парсить их сайты. Об этом рассказал вице-президент по продуктам для издателей в Microsoft AI Нихил Колар в рамках мероприятия Programmatic AI, проводимого Ad Exchanger.Колар считает, что издатели и розничные продавцы должны создавать контент, который может напрямую обращаться к ИИ-ботам, а следовательно, к большим языковым моделям, генерирующим новые формы трафика.
В этом случае издателям и продавцам не нужно бороться с растущим потоком поисковых систем на основе ИИ и инструментов, управляемых агентным ИИ.Владельцам сайтов следует обновить свои файлы robots.txt, чтобы избежать ограничений для краулеров, поскольку запреты могут снизить видимость ресурса для поисковиков на базе ИИ, добавил Колар.По его словам, сейчас четыре из пяти сайтов блокируют трафик от ботов и ИИ-краулеров.
