В открытом доступе появилась нейросеть для дубляжа LipDub — она может «заставить» героя видео говорить заданный текст
В 2024 году с её помощью Уилл Смит «заговорил» на португальском в рекламе Nomad.
- Сервис LipDub AI, которым раньше пользовалось ограниченное число компаний, вышел из режима закрытого тестирования.
- Нейросеть может переозвучивать видео на 40 языков, включая русский. Можно также загрузить готовый аудиофайл и синхронизировать движение губ персонажа с аудиодорожкой на «любом» языке. Для примера разработчики показали видео на валирийском и языке инопланетян из «Аватара».
Сервис синхронизировал губы спикера и аудиодорожку на вымышленных языках из фильмов. Благодаря клонированию, голос звучит одинаково. Источник: LipDub AI
- Также добавили функцию озвучивания заданного текста — до тысячи символов. ИИ скопирует голос спикера и синхронизирует губы с новым аудио. Для клонирования голоса видео должно длиться не менее 30 секунд.
Героиня сериала «Игра в кальмара» произносит текст песни Эминема. Источник: DubCreation
- В июле 2024 года нейросеть использовали в рекламе бразильского финтех-стартапа для открытия зарубежных счетов Nomad. Они клонировали голос актёра Уилла Смита и сделали дубляж на португальском. Их лозунг — «Мы заставили Уилла Смита говорить по-португальски, и можем заставить ваши деньги говорить по-английски».
Источник: Nomad
- Сервис обрабатывает видеофайлы длиной до одной минуты в разрешении 1080 р. Для тестирования дают 50 бесплатных кредитов. Перевод видео с синхронизацией губ стоит 10 кредитов, а копирование голоса — 25.
- Подписка начинается от $149 в месяц (около 14,6 тысяч по курсу ЦБ на 30 января 2025 года).
Подписка начинается от $149 в месяц (около 14,6 тысяч по курсу ЦБ на 30 января 2025 года).
2-3 дня работы в макдаке Загнивающей
Такая хрень должна быть в ютубе по дефолту хотя бы для подписчиков premium. Гугл упускает рынок.
Гагантские затраты мощностей. Эта подписка будет огромный ценник стоить. В Яндексе подобное есть, только без обработки видео, и то, ролик ждать приходится по часу-два, пока его озвучат просто машинным переводом.
Новости ИИ из России:
- Сервис ИИ от Яндекс не может прочитать название книги
- Греф показал Путину IVR и сказал, что это ИИ
- МТС закрыл свои ИИ проекты
149$ как-то дороговато(
Ну наконец-то что-то реально полезное, а не хентайные картинки и бестолковые чат-боты для жертв ЕГЭ