Седиментация для памяти ИИ-агентов: помнить главное, даже забывая детали
Большие языковые модели делают вид, что решают задачу памяти. На практике они решают задачу контекста: чтобы ответ был связным, модели нужна информация о том, что было сказано только что, час назад, в прошлой сессии.Индустрия справилась с этим блестяще.
Контекстные окна выросли до сотен тысяч токенов. Retrieval-Augmented Generation подтягивает релевантные фрагменты из внешних баз.
habr.com