OpenAI запустила веб-краулер GPTBot и добавила инструкции для его блокировки
itc.uaСистема GPTBot «будет прочесывать» интернет, чтобы собирать базу данных для обучения и совершенствования ИИ. Согласно публикации в блоге OpenAI, использование сканера GPTBot имеет потенциал для улучшения существующих моделей искусственного интеллекта – в частности, в таких аспектах, как точность и безопасность. «Веб-страницы, просканированные с помощью агента GPTBot, могут быть использованы для совершенствования будущих моделей и отфильтрованы с удалением источников, требующих платного доступа, собирающих личную информацию или содержащие текст, нарушающий нашу политику», — говорится в сообщении компании.
В то же время операторы веб-сайтов смогут запретить доступ GPTBot – частично или полностью. Для этого необходимо добавить его имя в файл robots.txt сайта с командой «disallow».