Qwen показала Qwen3.8-Flash и раскрыла архитектуру будущего Qwen4
habr.comAlibaba представила Qwen3.8-Flash и показала раннюю версию архитектуры, которая станет основой следующего поколения Qwen4.Qwen3.8-Flash — мультимодальная MoE-модель с упором на высокую эффективность инференса.
Основная модель содержит 125 млрд параметров, из которых на каждом токене активируется только около 6 млрд. Дополнительно используется 51 млрд параметров N-gram embeddings — отдельная таблица эмбеддингов, которая дополняет основную модель.
