Nvidia представила генератор аудио Fugatto, который создаёт звуки и озвучку по описанию

Когда сервис выпустят — неизвестно.

ИИ-модель Fugatto генерирует звуковые эффекты по текстовому описанию, например, может «заставить трубу лаять» или создать длинные меняющиеся звуки вроде «ливня с нарастающими раскатами грома».

Fugatto генерирует звук проезжающего поезда, который превращается в игру струнного оркестра. Здесь и далее источник: Nvidia

Также модель создаёт человеческие голоса с заданными акцентами и эмоциональной окраской. В промпте нужно прописать, какую фразу озвучить.

Fugatto генерирует «спокойный голос с американским акцентом» и меняет эмоцию, с которой произносится заданная фраза.

Fugatto можно использовать для редактирования аудиозаписей, например, чтобы изолировать вокал от музыки или добавить в трек звучание барабанов.

Fugatto отделяет голос исполнителя от общей звуковой дорожки

Модель также может преобразовать звук одного инструмента в другой, например партию фортепиано в арию оперного певца.

Nvidia предлагает использовать Fugatto для быстрого создания «прототипа песни», экспериментируя с разными стилями и инструментами, для звуков в компьютерных играх или изменения акцента актёров в рекламных кампаниях для разных регионов.

Свои инструменты для преобразования аудио с помощью ИИ уже представили Stability AI, OpenAI, Google DeepMind, Adobe и ElevenLabs. Однако они не предусматривают создание «уникальных» звуков, которые, как заявляют разработчики, генерирует Fugatto.

#новости #nvidia