Нейросеть озвучила беззвучную игру на фортепиано
rusjev.netАмериканские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук.
Статья была представлена на конференции NeurIPS 2020. Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры.