Как перевести видео нейросетью по самой низкой цене на рынке + озвучить тексты естественным голосом?
Сделали в KolerskyAI несколько разработок на эту тему и закинули их в бета-тестирование, так что уже можете пользоваться. В статье несколько примеров и описание.
Как устроен технически?
Полностью не можем рассказать, разумеется=))
Но если вкратце: берется видео, разделяется звук и видео. Звук режется на отрезки с сохранением временных рейтов и фоновых звуков, далее транскрибируется и озвучивается. После этого все отрезки накладываются на видео без звука, каждый в свой временной отрезок.
Что по переводу видео?
На основе нескольких нейросетей и скриптов сделали переводчик видео (а так же аудио) на 15 языков. Смогли сделать цену, ниже чем у конкурентов. Но, поскольку бета-версия - возможны глюки.
Цена переводе в доллары - от 0,23 за минуту перевода.У конкурентов цена минимум в 3 раза выше.
Примеры перевода
*больше примеров в видео снизу и в инструкции
Голоса и языки
Есть куча вариантов голосов для перевода, ниже несколько примеров. Так же есть вариант копирования голоса, но он пока нормально работает только на видео с одним спикером.
Виды языков ниже на картинке:
Что по озвучке текстов?
Можно озвучить и слушать нужный вам текст. Либо использовать функцию для озвучки рилс, шортс и всякого такого. Голосов тут меньше, но работает сильно быстрее перевода.
Тут есть полный список голосов для озвучки и перевода
Как пользоваться сервисом?
Пока он через тг бота без веб интерфейса, там все интуитивно понятно.
Инструкция и примеры: Тут есть подробная инструкция
ps. Обязательно пишите обратную связь, чтобы мы быстрее устраняли всякие глюки...)