Как бесплатно создавать музыку: обзор ИИ-сервиса Riffusion

Нейросеть исполнит песню даже на стихи А. С. Пушкина (и почти без акцента).

Riffusion — сервис для генерации музыки по текстовому запросу — в январе 2025 года выпустил публичную бета-версию модели Fuzz. А уже спустя несколько дней — 5 февраля — сервис анонсировал её обновлённую версию Fuzz 0.8, которая лучше работает с ударениями и музыкальными стилями. О том, как пользоваться новинкой, — в этом тексте.

Содежание:

Сервис работает через веб-приложение, скачивать ничего не нужно. Чтобы зарегистрироваться и сгенерировать песню, перейдите на сайт riffusion.com и используйте учётную запись Gmail, Discord или номер телефона.

Код подтверждения приходит даже на российские номера. Пользователи с российскими IP-адресами могут использовать нейросеть без ограничений. Пока бета-версия Riffusion работает полностью бесплатно.

Riffusion работает не только как инструмент для генерации, но и как стриминговый сервис. Пользователи могут делиться созданными треками и слушать песни друг друга.

В меню сервиса есть пять вкладок:

Есть два варианта создания трека.

1. «Prompt» — сгенерирует музыку по одному описанию.

Вводить промпт можно на русском языке, но слова песни нейросеть напишет на английском.

Например, «Песня про офисного работника, который очень ждал пятницу, наконец дождался и может отдыхать», по мнению Riffusion, звучит как заводной поп-рок.

Чтобы получить более точное попадание в запрос, в него стоит включить:

Так звучит запрос «Меланхоличный акустический блюз с мягким звучанием гитары и гармоникой, темп 80 BPM, лёгкая реверберация».

А так — «Электронный дабстеп с мощным басом, индустриальными синтезаторами, 140 BPM, драматическая атмосфера».

В ответ на каждый промпт сервис генерирует две песни, процесс занимает около 30 секунд. Слова нейросеть пишет сама, на английском языке. То же самое — с названием композиции и обложкой.

Если нужна музыка без слов, в поле для ввода промпта переключите ползунок «Instrumental».

2. «Compose» — открывает больший простор для творчества.

Здесь можно отдельно поработать с текстом песни и музыкой.

В поле «Lyrics» добавьте слова. Работу можно доверить ИИ-гострайтеру — тогда нейросеть сама придумает стихи по заданному описанию. Работает только на английском, иногда сервис выдаёт ошибку — вероятно, из-за высокой нагрузки на серверы. Собственный текст можно ввести и на русском.

В поле «Sound» опишите желаемую музыку. Подойдут те же промпты, что и в первом варианте генерации. Опишите настроение, жанр, темп и звуковые эффекты.

Ползунок «Advanced» открывает вкладку с дополнительными настройками. Здесь можно добавить несколько промптов — например, для разных инструментов или участков песни.

Ползунки «Strength» определяют, насколько точно конкретный запрос будет отработан в сгенерированной песне. Кроме того, можно задать момент трека, когда будет звучать определённый инструмент или настроение.

В настройках «Lyrics» укажите, насколько точно модель должна следовать введённому тексту песни («Lyrics strength») и насколько странным или экспериментальным получится итоговое звучание («Weirdness»).

Вот так, например, звучит запрос со скриншота выше в сочетании со стихами А. С. Пушкина.

Fuzz неплохо справляется с генерацией русской речи, в том числе с ударениями, но в припеве начались проблемы. Некоторые пользователи отмечают, что предыдущая версия модели (0.7) справлялась лучше, — можно ожидать, что в будущем разработчики «починят» произношение. Пока же особенно тяжело даются звуки и их сочетания, не свойственные английскому языку (например, «льн» в «печальна» или «р» в «старушка»).

С помощью Fuzz 0.8 пользователи могут в режиме «Compose» загрузить трек с компьютера и сделать на него кавер, продлить или заменить фрагмент.

В случае с кавером сервис сам распознаёт текст и перепевает его другим голосом. Если попробовать загрузить ту же песню на стихи А. С. Пушкина, текст получается немного авангардным и далёким от первоисточника. Справедливости ради, модель хорошо распознала слова первого куплета, который в оригинальной версии получился наиболее чётким.

Особый интерес вызвало появление в тексте строчки «Субтитры создавал DimaTorzok». Результаты небольшого расследования показали: это галлюцинация нейросети-транскрибатора Whisper AI от OpenAI.

При этом можно задать новый промпт для аудио. Например, для кавера использовался запрос «агрессивный рифф, парящее гитарное соло, электрический грув».

После генерации можно опубликовать свой трек, поменять его название и обложку. Кроме того, сервис позволяет скачать любую композицию — в формате M4A.

Запрос «Меланхоличный акустический блюз с мягким звучанием гитары и гармоникой, темп 80 BPM, лёгкая реверберация» Suno трактовала как призыв сгенерировать кальянный рэп. Кроме того, нейросеть решила произнести часть слов из запроса в самой песне.

Если ввести более абстрактный промпт, например, «Песня про офисного работника, который очень ждал пятницу, наконец дождался и может отдыхать» из примера выше, получается лучше, но всё равно не дотягивает до попадания Riffusion.

Однако у Suno есть два преимущества. Первое — нейросеть может написать текст песни на русском языке. Он не всегда звучит естественно и иногда плохо срифмован, но подобные проблемы встречаются и у людей. При этом за пользователем сохраняется право редактировать текст. Второе — нейросеть генерирует музыку быстрее, на создание двух треков уходит около 10 секунд.

На треки, сгенерированные в Suno или Riffusion, можно снять клип, не выходя из дома. Нейросети также помогут с оформлением обложки и редактурой текста.

Как сообщает сервис, песни в публичной бета-версии Riffusion пока что подходят только для личного некоммерческого использования:

Есть и ещё один нюанс: у модели довольно серьёзная цензура. Помимо бранных слов и неприемлемого контента, сервис откажется делать трек в стиле конкретного исполнителя.

Однако Riffusion появился лишь в начале января (закрытый бета-тест) и стал доступен пользователям к концу месяца. Можно ожидать, что к моменту выхода из статуса «бета» разработчики введут плату за генерацию треков — но позволят использовать их в коммерческих целях.

Какие жанры или стили музыки вы бы хотели создать с помощью Riffusion? Поделитесь своими идеями и опытом в комментариях!