«Чувствительные материалы». Как СМИ скрывают от поисковиков свои старые тексты
newsland.comБлагодаря современным технологиям стало возможно хранить массивы данных в режиме онлайн. Для доступа к старым материалам СМИ теперь не нужно идти в библиотеку — они всегда под рукой, стоит только набрать интересующий запрос в поисковике и перейти по ссылке.
Правда, как показало небольшое исследование «МБХ медиа», далеко не все статьи и не всех изданий индексируются поисковыми системами. Люди и роботы В корневом каталоге каждого сайта есть текстовый файл под названием «robots.txt» — это касается и СМИ.