Независимые как понятия, зависимые как операции: параметры семплирования в LLM‑инференсе
Инфраструктура вывода больших языковых моделей традиционно оптимизируется по пропускной способности и задержке: KV‑кэш, CUDA‑графы, батчинг, квантизация, параллелизм.
Эти компоненты формируют «скелет» системы и задают её предельные характеристики. Однако за пределами этого фокуса нередко остаётся слой, определяющий не скорость, а качество.
habr.com