Runway выпускает видеомодель Gen-4 с акцентом на согласованность движений

Runway выпустила Gen-4, свою последнюю модель искусственного интеллекта для создания видео. Компания заявляет, что система решает одну из самых больших проблем в создании видео с искусственным интеллектом: поддерживает согласованность персонажей и объектов на протяжении всех сцен.

По словам Runway, Gen-4 создает более динамичные видеоролики с реалистичными движениями, сохраняя при этом единообразие мотивов, объектов и стилей в кадрах. "Gen-4 устанавливает новый стандарт генерации видео и является заметным улучшением по сравнению с Gen-3 Alpha", - заявляет Runway.

Ключевым техническим достижением Gen-4 является способность сохранять согласованность персонажей, используя всего одно эталонное изображение при разном освещении, местоположении и обработке. Он сочетает визуальные ссылки с текстовыми инструкциями для сохранения стилей на протяжении всего видео.

По словам Runway, Gen-4 также представляет собой "важную веху в способности визуальных генеративных моделей имитировать физику реального мира". Система позволяет пользователям размещать любой объект или предмет в разных местах, сохраняя согласованность.

Runway создала несколько демонстрационных фильмов, чтобы продемонстрировать эти возможности. "Нью-Йорк - зоопарк" демонстрирует постоянство персонажей, помещая одних и тех же животных в разные сцены Нью-Йорка, комбинируя эталонные изображения животных с фотографиями города.

Модель преобразования изображения в видео Gen-4 доступна для платных подписчиков и корпоративных клиентов. Справочные функции будут добавлены в будущем обновлении. Дополнительные примеры доступны на веб-сайте RunwayML.

RunwayML зарекомендовала себя как крупный игрок в области видеотехнологий искусственного интеллекта с оценкой около 4 миллиардов долларов, заявленной годовой выручкой в размере 80 миллионов долларов в декабре 2024 года и прогнозируемой годовой выручкой в размере 300 миллионов долларов в 2025 году. Это самый сильный западный конкурент Sora от OpenAI.

Так же, среди сильных конкурентов - компания Luma, которая недавно выпустила модель Ray-2 flash

Её можно попробовать через сервис KolerskyAI Luma