Harmony бьет конкурентов: Новый фреймворк генерирует идеально синхронное видео и звук
Исследователи из Shanghai Jiao Tong University и Tencent Hunyuan представили Harmony - фреймворк для генерации синхронизированного аудиовизуального контента.В отличие от существующих опенсорс-моделей, которые часто допускают ошибки в синхронизации видео и звука, разработчикам Harmony удалось выявить и решить эти проблемы.
Фреймворк успешно справляется с генерацией как для английской и китайской речи, так и для окружающих звуков.По качеству генерации и точности синхронизации Harmony значительно опережает такие методы, как JavisDiT, Ovi и UniVerse-1.
habr.com