27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262K
habr.comУ нас есть четыре Tesla V100 2017 года, и на них в проде работает плотная Qwen3.8-27B с окном 262 тысячи токенов. Официальный vLLM на этих картах 4-битную модель даже не запускает.
Рассказываю, на каком форке это работает, куда утекает память, что показал бенчмарк MoE против dense и почему имя модели нельзя менять никогда.Эта модель — zubr в ZuBrIQ: единственная наша модель, запросы к которой не покидают Беларусь.
