Исследование МТИ: GPT-4 не сдал экзамен на адвоката
habr.comИсследователь Массачусетского технологического института решил проверить утверждение о том, что модель GPT-4 от OpenAI обошла 90% юристов-стажёров во время экзамена на адвоката.
Выяснилось, что модель попала только в 10% лучших в группе повторно сдававших тест.Таким образом, GPT-4 смогла обойти большинство стажёров, но в той группе, где люди повторно сдавали экзамен, провалив его в первый раз или набрав минимум баллов.Автор исследования Эрик Мартинес, докторант кафедры когнитивных наук, отмечает, что OpenAI использовала исследование 2023 года, где GPT-4 отвечал на вопросы унифицированного экзамена на адвоката (UBE).