В «Яндексе» и ШАД представили открытый бенчмарк MTGBench для оценки качества рассуждений нейросетей
Инженеры из «Яндекса» и студенты Школы анализа данных разработали и опубликовали в открытом доступе проект MTGBench. Это набор тестов для нейросетей, который оценивает способность ИИ-систем рассуждать при выполнении сложных многоэтапных задач.
Статью об этом бенчмарке приняли на научную конференцию EMNLP 2026. Решение MTGBench может помочь точнее подбирать рассуждающие модели под определённые задачи.
habr.com