Microsoft Research разработала новый способ включения знаний в LLM
habr.comMicrosoft Research разработала более эффективный способ включения внешних знаний в языковые модели. Новая система, называемая Knowledge Base-Augmented Language Models (KBLaM), использует подход plug-and-play, который не требует изменения существующих моделей.
В отличие от современных подходов, таких как RAG или In-Context Learning, KBLaM не использует отдельные системы поиска. Вместо этого он превращает знания в векторные пары и вплетает их непосредственно в архитектуру модели, используя то, что Microsoft называет «прямоугольным вниманием».Текущие системы RAG сталкиваются с проблемой квадратичного масштабирования из-за своего механизма самовнимания — каждый токен должен взаимодействовать с каждым другим токеном.
