CAPA: новый инструмент для обнаружения сходства ошибок в LLM
habr.comНовое исследование того, как языковые модели оценивают друг друга, выявило тревожную закономерность: по мере того, как эти системы становятся более сложными, они все чаще склонны разделять одни и те же слепые зоны.
Исследователи из институтов в Тюбингене, Хайдарабаде и Стэнфорде разработали новый инструмент измерения под названием CAPA (Chance Adjusted Probabilistic Agreement), чтобы отслеживать, как языковые модели пересекаются в своих ошибках за пределами того, что можно было бы ожидать только от их показателей точности.
