Google Research представила TurboQuant — алгоритм, который сжимает внутренний кэш больших языковых моделей до 3 бит. При этом качество ответов модели не падает, а дообучение не требуется.
Работу покажут на конференции ICLR 2026.Когда языковая модель обрабатывает длинный текст, она сохраняет промежуточные данные в так называемом кэше "ключ-значение" (key-value cache).
Ria24.today - агрегатор самых свежих новостей ведущих новостных сайтов со всего мира. 300+ информационных ресурсов на одном сайте, экономьте своё время.
Самые свежие новости на главной странице, чтобы вы всегда были в курсе, и владели информацией, полученной из разных источников, порой, с диаметральными политическими взглядами.
Актуальные новости 24 часа в сутки, 7 дней в неделю!
©2026. Все права защищены.
habr.com