OpenAI забраковала ИИ-бенчмарк, который сама же продвигала: ~30% задач SWE-Bench Pro сломаны
habr.comOpenAI опубликовала аудит SWE-Bench Pro — одного из главных бенчмарков для оценки кодинг-способностей моделей — и пришла к выводу, что около 30% его задач сломаны.
Компания официально отозвала свою рекомендацию использовать этот бенчмарк и посоветовала разработчикам моделей внимательно перепроверять результаты на нем.Ирония в том, что ранее SWE-Bench Pro продвигала сама OpenAI.
