Тест OpenAI PaperBench: системы ИИ не могут полноценно заменить исследователей
habr.comНовый тест OpenAI PaperBench показывает, что ИИ пока не может самостоятельно воспроизводить научные исследования, и исследователи-люди по-прежнему имеют преимущество.Этот тест подвергает системы ИИ серьёзному испытанию: воссоздайте 20 научных работ, представленных на ICML 2024, одной из самых престижных конференций по машинному обучению.
Работы охватывают широкий спектр исследований в области машинного обучения: от глубокого обучения с подкреплением до вероятностных методов и тестирования надёжности.Чтобы точно измерить производительность, команда работала напрямую с авторами оригинальной статьи, чтобы создать обширную систему оценки.
