Исследователи использовали видео c YouTube, чтобы показать, как модели ИИ справляются с неожиданными ситуациями
Видео с провалами на YouTube показывают, что у ведущих моделей искусственного интеллекта есть серьёзный недостаток: они не справляются с неожиданными ситуациями и редко пересматривают свои первоначальные оценки.
Даже такие продвинутые системы, как GPT-4o, спотыкаются на простых сюжетных поворотах.Исследователи из Университета Британской Колумбии, Института искусственного интеллекта Vector и Наньянского технологического университета протестировали лучшие модели искусственного интеллекта на более чем 1600 неудачных видео с YouTube из набора данных Oops!Команда создала новый эталонный тест под названием BlackSwanSuite, чтобы проверить, насколько хорошо эти системы справляются с непредвиденными событиями.
Исследователи из Microsoft изучили, какие профессии больше всего подвержены влиянию генеративного ИИ
habr.com