Как краткие запросы и уверенный тон влияют на достоверность ответов LLM
habr.comСогласно новому исследованию, многие языковые модели с большей вероятностью генерируют неверную информацию, когда пользователи запрашивают краткие ответы.Исследователи из Giskard оценили ведущие языковые модели с помощью многоязычного эталонного теста Phare, уделяя особое внимание тому, как часто они «галлюцинируют».
Первый выпуск эталонного теста посвящён галлюцинациям — проблеме, которая, как показали более ранние исследования, является причиной более трети всех задокументированных инцидентов с участием больших языковых моделей.Полученные результаты указывают на чёткую закономерность: многие модели с большей вероятностью выдают галлюцинации, когда пользователи запрашивают короткие ответы или формулируют свои запросы слишком уверенным тоном.Задания, в которых прямо указывается на необходимость краткого ответа, например «Ответьте кратко», могут снизить достоверность фактов во многих моделях.
