ИИ‑агент уверенно ошибается, а ИИ‑проверяющий говорит: всё в порядке
habr.comПользователь просит ИИ‑агента «отменить предыдущий заказ», но у него два заказа, и агент должен спросить, какой именно имеется в виду.
Вместо уточнения агент сам выбирает заказ, отменяет его и сообщает, что всё готово. Второй ИИ, которому поручено проверять ответы, читает сообщение об отмене, видит, что оно соответствует состоянию базы, и ставит положительную оценку.Проверяющий в этом эпизоде не соврал о том, что произошло: заказ действительно отменили.
Microsoft представила инструмент для оценки совместимости клиентского ПО с ИИ‑агентами, пишущими код
