Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBench
habr.comМы поменяли требования в задачах кодингового бенчмарка и увидели, как модели отговаривают себя их выполнять.Иногда агент прекрасно понимал новое требование.
Он описывал, что нужно изменить, прикидывал реализацию, а потом решал, что скрытые тесты, скорее всего, ждут чего-то другого.
Microsoft представила инструмент для оценки совместимости клиентского ПО с ИИ‑агентами, пишущими код
