Оптимизация холодного старта vLLM: собираем прогретый OCI образ Deepseek и GLM и запускаем за 30 секунд
habr.comВсем привет! Меня зовут Кирилл, больше десяти лет я разрабатываю облака и инфраструктуру. Но последние пару месяцев в рамках R&D я достаточно много занимаюсь инференсом: платформами для него, конфиденциальными вычислениями и оптимизацией всего, что вокруг.
В частности проектом — Serverless GPU с механиками примерно как у Modal или RunPod FlashBoot.Одна из самых болезненных вещей здесь — холодный старт моделей.
