CapCut запустил генератор видео Dreamina — он может создать «дипфейк» из фотографии и аудиодорожки
Например, «заставить» Трампа поздравить российских женщин с 8 марта.
- CapCut открыл доступ к функциям генерации видео, анимации изображений и синхронизации слов с движениями губ в своём ИИ-сервисе Dreamina. До этого в нём работал только генератор картинок.
- В соцсетях заметили, что нейросеть поддерживает русский язык и может синхронизировать губы человека на фотографии с русскоязычной аудиодорожкой или озвучить текст на русском.
Президент США Дональд Трамп поздравляет женщин России с Международным женским днём. Источник: Нейрократия
Ещё один пример на русском языке с синтезированной речью. Dreamina «оживила» изображения, сгенерированные в других нейросетях. Источник: Dmitry Alekseev
- Для создания видео с говорящим персонажем нужно загрузить фотографию, написать текст речи и выбрать голос, который его озвучит. Также есть функция загрузить аудио — длиной до 15 секунд.
- Анимацию изображений в Dreamina можно протестировать бесплатно, но инструмент открывается только с американских IP-адресов. Также понадобится создать аккаунт в CapCut.
Пользователь создал изображение в ChatGPT, синтезировал аудио в Elevenlabs и анимировал персонажа в Dreamina. Источник: Dave Clark
- Генератор работает на базе ИИ-модели OmniHuman-1, которую исследователи из ByteDance, владельца TikTok, разработали и представили в виде проекта в начале февраля 2025 года.
Анимация фотографии Тейлор Свифт, созданная с помощью OmniHuman-1 в феврале 2025 года. Источник: Alex Volkov
57 комментариев