ИИ генерирует длинные видео: возможное решение проблемы вычислительных требований
habr.comИсследователи разработали метод создания более длинных и связных видеороликов с искусственным интеллектом, которые рассказывают сложные истории.Несмотря на то, что в последние месяцы качество видео, создаваемых ИИ, значительно улучшилось, ограничения по продолжительности остаются серьёзной проблемой.Максимальная продолжительность видео Sora от OpenAI составляет 20 секунд, MovieGen от Meta* — 16 секунд, а Veo 2 от Google — всего 8 секунд.
Теперь команда из Nvidia, Стэнфордского университета, Калифорнийского университета в Сан-Диего, Калифорнийского университета в Беркли и Техасского университета в Остине представила решение: слои для обучения во время тестирования (TTT-слои), которые позволяют создавать видео продолжительностью до одной минуты.Основная проблема существующих моделей связана с механизмом «самовнимания» в архитектурах трансформеров.
