SAM Audio позволяет изолировать любой звук в видео по тексту, таймкоду или клику
habr.comИсследовательская команда, связанная с Meta*, представила SAM Audio, расширение концепции Segment Anything на аудио. Если оригинальный SAM умел выделять объекты на изображениях и видео, то новая модель решает более сложную задачу и разделяет звуки внутри аудио-визуального контента.SAM Audio работает как мультимодальная система.
Пользователь может указать, какой звук нужно извлечь, тремя способами. Первый это текстовый запрос, например голос диктора или фоновая музыка.
