Разработчики выпустили бенчмарк для языковых моделей, в котором нейросетям надо играть в Street Fighter III
habr.comРазработчики представили бенчмарк для оценки возможностей языковых моделей в реальном времени. Для этого используется игра Street Fighter III.
Авторы проекта отмечают, что динамичные компьютерные игры отлично подходят для таких задач.Street Fighter III выбрали для оценки языковых моделей по следующим причинам:Скорость. Игры в реальном времени позволяют оценить, как быстро языковая модель анализирует данные и принимает решения.Сообразительность. Для хороших результатов важно тщательно просчитывать ходы.Нестандартное мышление. Чтобы победить, надо принимать необычные решения.Адаптивность. Надо учиться на своих ошибках, чтобы противник не мог использовать их.Языковые модели в реальном времени управляют персонажами в Street Fighter III.