Перегрузка языковых моделей информацией приводит к нерелевантным ответам
habr.comПредполагается, что большие языковые модели могут обрабатывать миллионы токенов (фрагментов слов и символов, из которых состоят входные данные) одновременно.
Но чем длиннее контекст, тем хуже они справляются с задачей.Таков вывод нового исследования, проведённого Chroma Research. Компания Chroma, создающая векторную базу данных для ИИ-приложений, на самом деле выигрывает, когда моделям требуется помощь в получении информации из внешних источников.
