Новый ИИ-инструмент Riffusion генерирует музыку на основе описаний звука

Инновационные инструменты, генерирующие изображения, текст и аудио с помощью технологий искусственного интеллекта набирают сейчас огромную популярность. На их фоне появляются платформы, которые подходят к задаче генерирования контента с оригинальной стороны - одним из свежих примеров таких инструментов является Riffusion.

Riffusion - модель искусственного интеллекта, которая генерирует музыку на основе текстовых подсказок, создавая визуальное представление звука в виде сонограммы и преобразовывая его в аудио. Инструмент создан на основе модели преобразования текста в изображение Stable Diffusion 1.5 - разработчики доработали модель для применения скрытой диффузии к обработке звука.

Инструмент был создан инженерами Сетом Форсгреном и Айком Мартиросом в качестве хобби-проекта. Riffusion работает путем создания сонограмм, которые сохраняют звук в двумерном изображении. На сонограмме ось X представляет время (порядок воспроизведения частот слева направо), а ось Y - звуковые частоты. При этом цвет каждого пикселя представляет собой амплитуду звука в данный момент времени.

Так как сонограмма представляет собой изображение, она поддается преобразованию с помощью модели Stable Diffusion. Разработчики составили сонограммы нескольких музыкальных композиций, пометили получившиеся изображения соответствующими терминами (например “блюз на гитаре”, “джаз на пианино” и тд). На основе коллекции этих изображений модель обучили тому, как “выглядят” определенные звуки и как она может их воссоздавать, преобразовывать или комбинировать. В конечном итоге Riffusion научился генерировать новую музыку на основе ключевых слов и текстовых подсказок, описывающих тип музыки или звука, который пользователь хочет услышать. После создания сонограммы инструмент преобразовывает её в звук, используя библиотеку Torchaudio, специализирующуюся на машинной обработке аудио.

Сайт с инструментом Riffusion позволяет ввести свой набор слов и поэкспериментировать с ИИ-моделью, а также беспрерывно генерирует случайные сонограммы в режиме реального времени, которые непрерывно визуализируются в левой части страницы. “Фишка” инструмента состоит в том, что он способен обрабатывать нестандартные запросы, сочетая элементы разных жанров и стилей для получения нового оригинального звука - например, на сайте встречаются примеры “тропикал-танцевального джаза” или “техно на скрипке”.

Разработчики Riffusion рассказали порталу TechCrunch, что они относятся к созданному ими инструменту как к любительскому демо-проекту, не претендуя на серьезный вклад в сферу преобразования музыки. Сейчас демо-версию модели может протестировать любой желающий.

Если вам понравилась статья, поделитесь ею в своем блоге или поставьте нам оценку, чтобы о проекте узнало как можно больше читателей!