В MIT научили ИИ предупреждать о галлюцинациях
habr.comРассуждающие модели ИИ отвечают одинаково уверенно и тогда, когда действительно знают ответ, и тогда, когда просто угадывают.
Исследователи из MIT CSAIL утверждают, что нашли корень проблемы и предложили способ ее исправить без потери точности. В конце апреля работу Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty представят на ICLR.Команда сравнивает поведение современных рассуждающих моделей с "самым громким голосом в комнате": модель говорит, что уверена на 95%, но оказывается права лишь в половине случаев.
