Stability AI представила «виртуальную камеру» для создания видео из изображений

Компания выложила её открытый исходный код.

Разработчики моделей для генерации изображений Stable Diffusion выпустили инструмент Stable Virtual Camera. Он создаёт видео «с реалистичной глубиной и перспективой».

Примеры создания видео из изображений с помощью «нарисованной» траектории камеры. Источник: 52wts_cn

Пользователь может анимировать фотографию, задав траекторию движения камеры самостоятельно или выбрав один из 14 предложенных вариантов. Среди них облёт предмета на 360°, спираль, приближение и наклон камеры.

Примеры работы базовых траекторий движения камеры. Источник: Angry Tom

Модель может создать 3D-сцену из одного или нескольких изображений, например, фотографий разных комнат. При анимации Stable Virtual Camera дорисовывает недостающие детали. Для создания одного видео можно загрузить до 32 изображений.

Пример виртуального «тура», созданного из 32 фотографий комнат. Источник: Angry Tom

Эта версия находится в режиме предварительного тестирования, модель может плохо справляться с изображениями людей, животных или сложными текстурами вроде воды, предупреждает компания.

Stable Virtual Camera не смогла дорисовать человека при анимации картинки. Источник: Gadgetify

Инструмент доступен бесплатно для некоммерческого использования. Для работы с Stable Virtual Camera нужно установить модель локально, её выложили на Hugging Face и GitHub.

Как использовать «виртуальную камеру» в нейросети Runway — для «оживления» 3D-моделей и создания панорамных облётов интерьеров

Собрали несколько примеров от пользователей.