Как написать песню в нейросети: от текста до клипа

Разбавляем плейлист ИИ-хитами.

Умеет ли нейросеть творить наравне с человеком — вопрос спорный, но случаи создания, например, нейропесен уже есть. Треки с помощью нейросетей создавали продюсер Timbaland и музыкант Давид Гетта, а группе The Beatles ИИ помог воссоздать песню с голосом Джона Леннона. В этом материале — эксперимент: смогут ли нейросети написать песню и даже снять на неё клип.

Содержание:

Нейросети могут написать стих на заданную тему и для определённого жанра. Для этой задачи подойдут чат-боты:

Проведём эксперимент: попросим каждую из пяти нейросетей написать текст для песни в стиле поп-рок — на русском и на английском. Стихи должны состоять из двух куплетов и двух припевов. Тема текста — любовь к нейросетям.

Все нейросети справились с задачей, YandexGPT даже добавил юмора: «Твои ответы — это просто дивный бред». Но есть недочёты. Например, Qwen допустила ошибку в окончании: «Генерирую строки, словно в мире иной живу я». Сделаем субъективный выбор лучшего результата и продолжим эксперимент с русским текстом от DeepSeek.

Сгенерировать песню на основе готового текста можно в таких нейросетях:

Подробных инструкций, как пользоваться указанными нейросетями для создания музыки здесь не будет. Ниже — только алгоритмы создания песен на основе готового текста, рассматривать все функции нейросетей мы не будем.

Включаем режим «Custom», чтобы максимально влиять на результат. Добавляем текстовое описание и свои стихи. Нейросеть можно попросить сгенерировать текст песни и прямо в Suno.

Указываем стиль музыки. В этом эксперименте будем создавать композицию в стиле поп-рок, а чтобы песня была ближе к лёгкому поп-звучанию, добавляем тег «pop». Последний доступный этап — дать песне название. У нашей будет «Любовь к нейросетям». Пользователи с подпиской Pro и Premium могут также выбрать мужской или женский вокал и тембр.

Нажимаем «Create» и получаем два варианта трека, которые можно скачать в mp3. Бонус — сгенерированное видео по типу караоке.

Источник: suno.com

Источник: suno.com

Результат: все пожелания нейросеть учла и даже добавила соло на гитаре. Что выдаёт в композиции нейромузыку, так это качество звука. Трек звучит так, будто у него низкий битрейт. То есть, чтобы использовать песню, её придётся перезаписать и, возможно, придумать более оригинальные музыкальные ходы, так как с коммерческим использованием могут возникнуть проблемы. Нейросети учатся на чужих треках и иногда заимствуют их элементы без ведома правообладателя.

Стоимость:

Чтобы создать песню, заходим в раздел «Create» и пишем промпт. В нашем случае: «Song about love to neural net. Style pop and pop-rock» («Песня про любовь к нейросетям. Стиль — поп и поп-рок»). Дальше, чтобы добавить собственный текст, в разделе «Write your lyrics» отмечаем «Custom». В расширенных настройках можно также выбирать:

Нажимаем «Create».

Источник: udio.com

Источник: udio.com

Результат: нейросеть сгенерировала две версии трека. Первый оказался тяжелее по звучанию, чем обе версии Suno AI, а второй — похожим на советскую эстраду. Интересно, что нейровокалисты шепелявят и иногда картавят. Скачать трек можно в форматах MP3, WAV, а можно сгенерировать в формате видео.

Стоимость:

Ещё одна нейросеть, которая способна наложить музыку на текст — это Uberduck. Заходим на сайт и выбираем нужную функцию. Из всех предложенных больше всего подходит «Rap Generator» (песню в поп-рок стиле здесь сгенерировать не получится). Дальше нейросеть предложит выбрать одно из шести направлений:

Выбираем «Modern», дальше — выбор голоса (всего 12 вариантов, вокал по умолчанию будет наиболее качественным). Также можно создать голос на основе промпта или клонировать свой. На следующем этапе вставляем текст песни. Максимальная длина стихов — 380 символов, этого хватило на один куплет и один припев. Нажимаем «Generate Rap».

Нюанс: русский текст нейросеть просто не видит, поэтому получится озвучить только англоязычные стихи.

Источник: uberduck.ai

Результат: трек получился довольно роботизированным, музыку нейросеть наложила только на паузы между куплетом и припевом, а сам рэп больше похож на поэтические чтения. Скачать трек можно в формате WAV.

Стоимость:

Riffusion — полностью бесплатная нейросеть. Выбираем метод генерации «Compose». Он открывает возможность добавить собственный текст и на его основе сгенерировать полноценную песню. Кроме текста, в этом режиме можно прописать желаемый стиль или настроение. Указываем тег «pop rock» и нажимаем «Generate».

Источник: riffusion.com

Источник: riffusion.com

Результат: нейросеть сгенерировала два варианта трека — с мужским и женским вокалом. Обе композиции неплохо звучат, но некоторые слова ИИ-певцы коверкают — меняют ударение, глотают окончания или шепелявят. Не зная, что это нейросеть, такие галлюцинации можно было бы принять за особенности речи исполнителя.

Понравившийся трек можно отредактировать — внести правки в текст и стиль. Скачать песню получится в формате M4A.

В любой нейросети, которая генерирует изображения, можно нарисовать обложку для клипа. Для этого подойдут:

Выберем нейросетку, которая хорошо справляется с текстом, — например, Ideogram. Нужно это для того, чтобы добавить название песни на картинку. Ниже — примеры генерации по промпту «A picture for a song in the pop-rock style with the atmosphere 70’s. A love song for neural networks. Below the inscription “love of neural networks”» (перевод: «Картинка к песне в стиле поп-рок с атмосферой 70-х. Песня о любви к нейронным сетям. Внизу надпись „любовь к нейронным сетям“».

На музыке творчество не заканчивается. Идём дальше и делаем клип.

В Hailuo AI генерируем видео на основе промта: «Music video in the style of pop music. A woman in a shiny dress, on a shiny dance floor, sings a song about her love for neural networks. There are pink fluffy walls around the girl. The general atmosphere of the video is retro, in the style of 70’s films. Everything glitters and sparkles» (перевод: «Музыкальный клип в стиле поп-музыки. Женщина в блестящем платье на блестящем танцполе поёт песню о любви к нейронным сетям. Вокруг розовые пушистые стены. Общая атмосфера видео — ретро, в стиле фильмов 70-х. Всё блестит и сверкает»).

Одна генерация в Hailuo AI стоит 30 кредитов. Нейросеть можно попросить сгенерировать сразу три видео, чтобы позже склеить их. Сделать это можно в одной из программ для монтажа видео. Всего в бесплатном режиме есть 1100 кредитов, этого хватит на 36 отрывков.

Готовые части клипа озвучиваем в нейросети Kling AI.

Одна генерация стоит 5 кредитов и занимает около 8 минут.

Результат: кадры, хоть и имеют общую атмосферу, всё же разнятся — чтобы сделать связный клип, понадобятся высокие навыки работы с промптами, немало генераций и времени. Например, на то, чтобы сгенерировать эти небольшие клипы, понадобилось около двух часов.

Как вам треки, созданные ИИ? Как, по вашему мнению, нейросети повлияют на будущее музыкальной индустрии?