«Вспомнить всё»: исследователи предложили архитектуру языковых моделей с большой памятью
habr.com9 февраля на arXiv была опубликована новая научная работа "LM2: Large Memory Models", в которой исследователи описали обновление классической архитектуры LLM на базе трансформеров.
LM2 превосходит как модель RMT с дополненной памятью на 37.1%, так и базовую модель Llama-3.2 на 86,3% в среднем по задачам.Исследователи из Convergence Labs представили Large Memory Model (LM2) – новую архитектуру языковых моделей, которая преодолевает ограничения традиционных трансформеров в обработке длинного контекста.LM2 дополняет стандартный механизм внимания отдельным модулем памяти, который взаимодействует с входными данными, отбирает важную информацию и обновляется по мере работы модели.Ключевое отличие LM2 – дополнительный поток памяти, который дополняет стандартный поток внимания в трансформерах.
