Исследование MIT: нерелевантные входные данные приводят к неудачам LLM
Недавнее исследование MIT изучает, как большие языковые модели (LLM) реагируют на систематические нарушения в дизайне подсказок при решении математических текстовых задач.
Результаты показывают, что даже незначительные добавления нерелевантного контекста могут значительно ухудшить производительность.Исследователи протестировали 13 открытых и закрытых исходных кодов LLM, включая Mixtral, Mistral, Llama и Command-R, используя вопросы из набора данных GSM8K, который фокусируется на арифметических задачах уровня начальной школы.
habr.com