Тест CRMArena-Pro показывает, что ИИ-агенты испытывают трудности в реальных бизнес-задачах
habr.comНовый тест Salesforce CRMArena-Pro выявляет серьёзные проблемы, с которыми сталкиваются ИИ-агенты в бизнес-контексте. Даже у таких топовых моделей, как Gemini 2.5 Pro, успешный ответ при однократном обращении достигается лишь в 58% случаев.
При более длительном диалоге производительность падает до 35%.CRMArena-Pro предназначена для тестирования того, насколько хорошо большие языковые модели (LLM) могут работать в качестве агентов в реальных бизнес-условиях, особенно при выполнении таких задач CRM, как продажи, обслуживание клиентов и ценообразование.
Скам-тест: мошенники приглашают тестировщиков приложений, взламывают их устройства и похищают деньги
