Berlin Nvidia общество семья самит крипто токен Berlin

Как ускорить локальную LLM на 50% без покупки новой видеокарты

На GTC Berlin 2026 участники воркшопа NVIDIA смогли ускорить генерацию Qwen3-32B с 16,4 до 24,5 токена в секунду, не меняя оборудование.

Для этого использовали FP8 вместо BF16. Общая пропускная способность тоже выросла, хотя и заметно меньше: с 639 до 719 токенов в секунду.Эксперимент проводили на Kubernetes-кластере с четырьмя NVIDIA A100 по 80 ГБ.

DMCA