Квантование моделей: запуск новейших моделей Google на локальном оборудовании
habr.comОбучение с учётом квантования позволяет запускать новейшие модели Google на локальных графических процессорах и даже на мобильных устройствах.Благодаря специализированному подходу к обучению эти новые варианты Gemma 3 теперь могут эффективно работать на потребительском оборудовании — например, на игровых графических процессорах или даже на мобильных устройствах — без существенной потери качества.
Для сравнения, оригинальные модели Gemma 3 были созданы для высокопроизводительных систем с использованием NVIDIA H100 и точностью BFloat16, что делало их недоступными для обычных пользователей.Ключом к этому сдвигу является квантование — процесс, который значительно сокращает использование памяти.
