Qwen3.8 Flash на RTX 4090. Лучше обычного 27В?
В одном из экспериментов Kwangju Shin запустил Qwen3.8-27B примерно со 100 токенами в секунду. Для ускорения использовалась DFlash2, технология спекулятивного декодирования, которая позволяет небольшой вспомогательной модели предлагать сразу несколько следующих токенов для проверки основной моделью.После получения рабочего локального API автор решил проверить Qwen3.8-Flash-Next на том же компьютере.
Интерес представляла возможность улучшить качество ответов без увеличения ожидания, сохранив при этом достаточно ресурсов для других приложений.Конфигурация тестового ПК:КомпонентХарактеристикаВидеокартаNVIDIA GeForce RTX 4090Видеопамять24 ГБОперативная память64 ГБОперационная системаWindowsДвижок для FlashStrata27BQ4 + DFlash2Контекст 27B32K токеновКвантование FlashIQ2_XS, IQ3_XXS, IQ3_SОсновная конфигурация FlashIQ3_XXSДля нового сравнения производительность 27B измерялась заново.
habr.com