Microsoft представила Windows Agent Arena — бенчмарк для тестирования ИИ-агентов
habr.comMicrosoft Research представила бенчмарк Windows Agent Arena для тестирования агентов генеративного искусственного интеллекта на ПК с Windows.
Решение разработали для проверки того, насколько хорошо и быстро ИИ-агенты могут взаимодействовать с Windows-приложениями.Windows Agent Arena протестировали с браузерами Microsoft Edge и Google Chrome, функциями операционной системы, включая проводник, приложения для кодирования, простое предустановленное программное обеспечение Windows, такое как «Блокнот», «Часы» и Paint, и просмотр видео при помощи VLC Player.Корпорация пишет, что адаптирует фреймворк OSWorld для создания более 150 разнообразных задач Windows в репрезентативных доменах, которые требуют возможности агента в планировании, понимании экрана и использовании инструментов.