Alibaba представила модель Vace с тонкими настройками для генерации видео

Её планируют выложить в открытый доступ, но сроков не называют.

Vace — это ИИ для создания и редактирования видео «всё в одном» от разработчиков китайского генератора роликов Wan.
Команда показала, как работают функции анимации персонажа по заданным движениям, замены объекта на выделенной области и создания единого видео из нескольких изображений.

Создание ролика из изображения с точной настройкой движений персонажа. Источник здесь и далее: Vace

Генерация видео по референсу-наброску

Замена объекта на выделенной области, чтобы улучшить точность результата в сравнении с текстовыми подсказками

Создание единого ролика из двух фотографий

Vace также может преобразовать существующее видео, сохранив композицию. ИИ заменяет одних персонажей на других, меняет стиль ролика, расширяет границы видео или вносит точечные изменения — например генерирует новый рисунок на холсте.

Примеры преобразований роликов с помощью Vace

Разработчики планируют «скоро» выложить код и веса модели в открытый доступ.
В феврале 2025 года китайская Alibaba выпустила модель для генерации видео Wan 2.1 с открытым исходным кодом, а в начале марта запустила сайт Wan c генераторами картинок и видео.
В сервисе доступно 50 бесплатных кредитов в день. Генерация видео стоит 10 кредитов, создание изображения — 2. Также можно «зарабатывать» дополнительные кредиты, выкладывая свои генерации и оценивая результаты других пользователей.