FrontierScience: OpenAI выпустила бенчмарк PhD-сложности для проверки научного мышления ИИ
habr.comКомпания OpenAI решила проверить, на что действительно способны её модели в сфере научного прогресса, и поделилась интересными результатами, которые сочетают в себе как теоретические тесты, так и реальную лабораторную работу.Чтобы понять, насколько модель может рассуждать как эксперт, нужны и соответствующие задачи.
Команда OpenAI выпустила новый бенчмарк под названием FrontierScience. Его цель — измерить научное мышление на уровне PhD в физике, химии и биологии.В FrontierScience вошли сложные, написанные экспертами задачи (как олимпиадного стиля, так и более длинные исследовательские задания), призванные выявить сильные и слабые стороны моделей.
