Американский стартап Zyphra выпустил бесплатную модель для клонирования голоса Zonos

Бета-версия может скопировать голос с записи на русском, но пока не озвучивает русскоязычный текст.

Модель Zonos для преобразования текста в аудио можно протестировать на платформе Zyphra. Она поддерживает английский, китайский, японский, корейский, французский и немецкий.
При этом Zonos смогла скопировать голос с аудиозаписи на русском языке. Для клонирования нужно загрузить фрагмент длиной от десяти до 60 секунд или записать аудио, нажав на значок микрофона.

После загрузки голос отображается в библиотеке. На видео звучит клонированный голос Андрея Ярославцева по отрывку из фильма «Трансформеры». Генерация заняла около восьми секунд. Скринкаст vc.ru

Также можно выбрать из существующих ИИ-голосов. Скорость их речи регулируется ползунком на панели слева. Ниже примеры фраз, озвученных мужским и женским голосами из библиотеки Zonos.

Разработчики предлагают сравнить результат Zonos с другими сервисами:

ElevenLabs

Cartesia

Zonos

Компания не уточнила, какой максимальный объём символов может озвучить Zonos в бесплатной бета-версии.
По словам разработчиков, на стадии тестирования в генерациях бывают ошибки. В тесте редактора vc.ru модель делала длинные паузы в некоторых результатах.
У Zonos открытый исходный код, он есть на GitHub. Веса доступны на Hugging Face. Её также можно использовать через API по цене $0,02 за минуту аудио (около 2 рублей по курсу ЦБ на 11 февраля 2025 года).
Zyphra — компания из Калифорнии, которая разрабатывает операционную систему для ИИ-агентов MaiaOS для предприятий.
В январе 2025 года китайская Hailuo AI представила бесплатную модель для клонирования голоса с поддержкой русского языка.

#новости #elevenlabs