Представлен программно‑аппаратный AI KV‑cache offloading от «Тантор Лабс» с управлением в платформе «Боцман»
habr.com«Тантор Лабс» и разработчик платформы контейнеризации и управления ИИ-инфраструктурой «Платформа Боцман» (обе компании входят в «Группу Астра») представили новую программно-аппаратную технологию хранения кэша ключей и значений (KV-cache) без использования памяти DRAM.
В отличие от решений с программной оптимизацией кэширования, уникальная для российского рынка технология работает на уровне специализированного оборудования и позволяет использовать для кэша нейросетей специализированное NVMe-хранилище контекстной памяти (context memory storage), снижая зависимость от ограниченного объёма дорогостоящей HBM-памяти GPU и DRAM.
