Нейросеть Vidu добавила новую функцию Reference-to-Video. Что это такое и как с этим работать?
Это не Image-to-Video, где задается начальный и конечный кадр, а что-то совершенно иное. Больше примеров в статье.
Привет, меня зовут Борис, я пишу статьи на VC на тему использования нейронок в работе и в жизни. В ТГ-канале делюсь практическими советами и рекомендациями по работе с ИИ. Подписывайтесь!
Vidu представили новую функцию для своего видеогенератора - Reference to Video. Она позволяет объединять людей, объекты и окружение в единую композицию.
Работает всё просто: вы загружаете 1-3 изображения, а нейросеть на их основе генерирует видео. Таким образом можно получить удивительные результаты.
Первый пример. Создание видео на основе 1 изображения:
В отличие от других видеогенераторов, Vidu не использует загруженное изображение как начальный кадр. Нейросеть изучила изображение, запомнила основные элементы (главный герой, улица, огонь) и на основе них создала видео. Как вы можете видеть, главный герой не просто идет в центре кадра, а выходит откуда-то с левой стороны, держа автомат, которого даже нет на исходном изображении. Анимация плавная и динамичная, словно сцена из голливудского блокбастера.
Второй пример. Загружаем 3 связанных изображения (локация, главный герой и его трансформация).
Получили такое видео:
Получилось так, как и задумывалось: персонаж попадает в нужную локацию и превращается в выбранное существо.
Третий пример. Загружаем 3 не связанных между собой изображения и смотрим на результат:
И вот результат:
Мультяшный персонаж оказывается в центре фотореалистичного кадра, а рядом с ним стоит та самая голова статуи, только еще с телом. Как нейросеть додумалась это всё совместить, остается для меня загадкой.
Что еще нового
Помимо этого, обновилась сама модель для генерации видео: раньше была Vidu 1.0, а теперь Vidu 1.5. Повысилось качество генерации, появились новые форматы (720p и 1080p), а также можно задать скорость анимации (Movement Amplitude):
Вот как выглядит изменение скорости анимации на деле:
Small Movement Amplitude:
Medium Movement Amplitude:
Теперь можно регулировать скорость анимации в зависимости от динамичности самого кадра.
P.S.: Этой функции очень не хватает в видеогенераторе Minimax, который создает слишком динамичные видео даже для самых статичных изображений.
Где попробовать
Все функции уже доступны на официальном сайте. При регистрации вам выдают 80 бесплатных кредитов ежемесячно. На создание одного 4-секундного видео потребуется 4 кредита. Платная подписка начинается от 10$/мес и позволяет создавать больше видео и загружать их без водяных знаков.
Ссылка: https://vidu.studio
Было полезно? Поставьте лайк и напишите комментарий. Подписывайтесь на мой ТГ-канал, где я делюсь практическими советами и рекомендациями по работе с ИИ: Boris AI – нейросети для работы и хобби