Как сгенерировать звуки или музыку для ролика в сервисе MMAudio

Пригодится для озвучивания игр, мультфильмов или сгенерированных видео.

Генератор MMAudio может синтезировать звуковые эффекты и музыку для конкретного видео. Модель анализирует ролик, которой загружает пользователь, и на выходе добавляет к нему аудиодорожку. Бесплатная демоверсия доступна на Hugging Face.
В окне для промпта можно написать подсказу, но нейросеть может создать звук и без неё. В настройках есть опция «Негативный промпт», там можно написать, например, music, тогда модель не добавит музыку в видео.

Генерация аудио без текстовых подсказок. Видео сгенерировано в Veo. Источник видео: Joseph Carlson

В тесте редактора vc.ru модель смогла синтезировать мелодию на фоне и сохранила звук нарезки овощей.

Запрос: The sound of a man chopping vegetables on a chopping board and relaxing music / Звук, как человек нарезает овощи на разделочной доске, и спокойная музыка

Пользователи сети X также применяют модель для создания звуковых эффектов в компьютерных играх.

Видео, сгенерированное Sora, со звуком от MMAudio. Источник: cocktail peanut

Есть пример с аудиоэффектами для фрагмента из презентации Apple WWDC 2024.

Источник: cocktail peanut

Ещё модель умеет генерировать музыку, ориентируясь на взаимодействие с инструментом на видео.

Источник: cocktail peanut

Источник: Andreas M

Пользователь создал свои звуковые эффекты для фрагмента из фильма «Матрица».

Источник: Pip

В другом примере шумы в MMAudio дополнили речью, синтезированной в сервисе F5TTS.

Источник: Blaine Brown

Другие примеры звуковых эффектов.

Источник: AIGCLINK

Источник: Blaine Brown

#sounddesign #ии