Сэм Альтман рассказал, как будут оценивать GPT-6
habr.comГлава OpenAI Сэм Альтман в интервью Роуэну Ченгу рассказал, что эффективность следующего поколения ChatGPT — условной GPT-6 — будут оценивать «по созданной ценности, а не по набору тестов».
По его словам, команда работает над новой метрикой под условным названием GDPval, которая должна отражать, какую реальную пользу приносит модель в задачах пользователей и бизнеса.Альтман отметил, что нынешние бенчмарки уже не отражают реальных возможностей систем: они проверяют умение решать короткие задачи, но не показывают, насколько ИИ способен быть надежным помощником в долгих процессах.
