Wikimedia сталкивается с беспрецедентной нагрузкой из-за скраперов AI
habr.comФонд Викимедиа, головная организация Википедии и около десятка других краудсорсинговых проектов по сбору знаний, заявил в среду, что потребление полосы пропускания для загрузки мультимедиа с Wikimedia Commons выросло на 50% с января 2024 года.
Как написала компания в своем блоге во вторник, причина кроется не в растущем спросе со стороны жаждущих знаний людей, а в автоматизированных, жадных до данных скраперах, стремящихся обучать модели AI.«Наша инфраструктура создана для того, чтобы выдерживать внезапные всплески трафика от людей во время мероприятий, представляющих большой интерес, но объем трафика, генерируемого ботами-скрейперами, беспрецедентен и представляет собой растущие риски и издержки», — говорится в сообщении.Wikimedia Commons — это свободно доступное хранилище изображений, видео и аудиофайлов, которые доступны по открытым лицензиям или иным образом находятся в общественном достоянии.Если копнуть глубже, то Wikimedia сообщает, что почти две трети (65%) самого «дорогого» трафика — то есть самого ресурсоемкого с точки зрения типа потребляемого контента — были получены от ботов.
