Исследователи DeepSeek добавили в ИИ память — но улучшились рассуждения, а не знание фактов
habr.comИсследователи DeepSeek представили Engram — модуль памяти для языковых моделей, который хранит статические паттерны вроде имен и устойчивых выражений.
Результаты оказались неожиданными: рассуждения улучшились на 5 пунктов (бенчмарк BBH), код на 3 (HumanEval), а фактологические тесты — только на 3-4 пункта (MMLU, CMMLU).Идея Engram проста: не заставлять модель каждый раз "вычислять" знакомые сочетания токенов.
