Nvidia хочет создать универсального ИИ-агента с помощью NitroGen
Компания Nvidia выпустила новую модель для ИИ-агентов, ориентированных на игры. NitroGen - это модель обработки действий на основе OpenVision, обученная на 40 000 часах видеозаписей игрового процесса из более чем 1000 игр.
Исследователи использовали ранее игнорируемый ресурс: видео с YouTube и Twitch с видимыми наложениями контроллера. Используя сопоставление шаблонов и доработанную модель SegFormer, они извлекли ввод игрока непосредственно из этих записей.NitroGen основан на модели Nvidia GR00T N1.5.
habr.com