Meta* разрабатывает ИИ-систему MoCha, которая превращает текст в анимированных персонажей
habr.comИсследователи из Meta и Университета Ватерлоо создали MoCha — систему искусственного интеллекта, которая генерирует полную анимацию персонажей с синхронизированной речью и естественными движениями.В отличие от предыдущих моделей, которые фокусировались только на лицах, MoCha может воспроизводить движения всего тела с разных ракурсов, включая синхронизацию губ, жесты и взаимодействие между несколькими персонажами.
Первые демонстрации были сосредоточены на крупных и средних планах, где система генерировала движения верхней части тела и жесты, соответствующие устному диалогу.MoCha работает на основе модели диффузионного трансформера с 30 миллиардами параметров.
