технологии
Nvidia
общество
бюджет
AMD
baidu
токен
Представлен программно‑аппаратный AI KV‑cache offloading от «Тантор Лабс» с управлением в платформе «Боцман»
«Тантор Лабс» и разработчик платформы контейнеризации и управления ИИ-инфраструктурой «Платформа Боцман» (обе компании входят в «Группу Астра») представили новую программно-аппаратную технологию хранения кэша ключей и значений (KV-cache) без использования памяти DRAM. В отличие от решений с программной оптимизацией кэширования, уникальная для российского рынка технология работает на уровне специализированного оборудования и позволяет использовать для кэша нейросетей специализированное NVMe-хранилище контекстной памяти (context memory storage), снижая зависимость от ограниченного объёма дорогостоящей HBM-памяти GPU и DRAM. Это резко увеличивает число одновременно обслуживаемых пользователей, ускоряет инференс и сокращает задержки обработки запросов, масштабируя корпоративные ИИ-сервисы без пропорционального увеличения количества ускорителей. При этом скорость доступа к данным сопоставима с показателями DRAM, но с более низкой стоимостью за терабайт.