Как перевести видео нейросетью по самой низкой цене на рынке + озвучить тексты естественным голосом?

Как перевести видео нейросетью по самой низкой цене на рынке + озвучить тексты естественным голосом?

Сделали в KolerskyAI несколько разработок на эту тему и закинули их в бета-тестирование, так что уже можете пользоваться. В статье несколько примеров и описание.

Как устроен технически?

Полностью не можем рассказать, разумеется=))

Но если вкратце: берется видео, разделяется звук и видео. Звук режется на отрезки с сохранением временных рейтов и фоновых звуков, далее транскрибируется и озвучивается. После этого все отрезки накладываются на видео без звука, каждый в свой временной отрезок.

Что по переводу видео?

На основе нескольких нейросетей и скриптов сделали переводчик видео (а так же аудио) на 15 языков. Смогли сделать цену, ниже чем у конкурентов. Но, поскольку бета-версия - возможны глюки.

Цена переводе в доллары - от 0,23 за минуту перевода.У конкурентов цена минимум в 3 раза выше.

Цены аналогичных сервисов
Цены аналогичных сервисов

Примеры перевода

Оригинал
Копия голоса
Голос Radio man 1920

*больше примеров в видео снизу и в инструкции

Голоса и языки

Есть куча вариантов голосов для перевода, ниже несколько примеров. Так же есть вариант копирования голоса, но он пока нормально работает только на видео с одним спикером.

Описание некоторых голосов для перевода ( ниже в примерах не они). Описание всех голосов с примерами <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fkolersky.com%2Fvoicegen_voices&postId=1827723" rel="nofollow noreferrer noopener" target="_blank">тут</a>
Описание некоторых голосов для перевода ( ниже в примерах не они). Описание всех голосов с примерами тут

Виды языков ниже на картинке:

Как перевести видео нейросетью по самой низкой цене на рынке + озвучить тексты естественным голосом?

Что по озвучке текстов?

Можно озвучить и слушать нужный вам текст. Либо использовать функцию для озвучки рилс, шортс и всякого такого. Голосов тут меньше, но работает сильно быстрее перевода.

Как перевести видео нейросетью по самой низкой цене на рынке + озвучить тексты естественным голосом?

Тут есть полный список голосов для озвучки и перевода

Описание некоторых голосов для озвучки
Описание некоторых голосов для озвучки

Как пользоваться сервисом?

Пока он через тг бота без веб интерфейса, там все интуитивно понятно.

Меню бота <a href="https://api.vc.ru/v2.8/redirect?to=http%3A%2F%2Ft.me%2FVideo_translator_kolersky_bot&postId=1827723" rel="nofollow noreferrer noopener" target="_blank">Voicegen</a>
Меню бота Voicegen

Инструкция и примеры: Тут есть подробная инструкция

ps. Обязательно пишите обратную связь, чтобы мы быстрее устраняли всякие глюки...)

6
1
11 комментариев