От нуля до GPUaaS, или Как завести в Kubernetes технологии InfiniBand, RDMA и GPUDirect
На рынке мало экспертизы по запуску GPU-стека и InfiniBand именно внутри Kubernetes (обычно их настраивают на "голом железе" / bare-metal), а официальная документация NVIDIA имеет пробелы и в ру-комьюнити готовых кейсов нет.
Под капотом я расскажу, как мы запустили GPUaaS (GPU как услуга) для ИИ-команд, которым нужны вычислительные мощности и благодаря этому за 3 месяца с нуля развернули и вывели в продакшен готовый стек для работы с GPU, решили проблему простоя дорогого оборудования и обеспечили команды разработчиков вычислительными мощностями в критически сжатые сроки.Сроки. Запуск базовой инфраструктуры занял всего 3 месяца (вместо стандартных нескольких кварталов).
habr.com