Runway представила Gen-3 Alpha - новый гиперреалистичный ИИ-генератор видео
Сюрприз, сюрприз. Нью-йоркская компания Runway делает сильный камбэк!
Не прошло и недели после того, как Luma Labs выпустила Dream Machine, её ближайшего конкурента, как Runway наверстывает упущенное, представив свой новый и самый мощный ИИ-видеогенератор - Gen-3 Alpha.
Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.
Многие, в том числе и я, задавались вопросом - что происходит с Runway? Когда они собираются выпустить преемника Gen-2?
Что же, сегодня мы получили ответы. Когда я впервые увидел примеры видеороликов, созданных с помощью Gen-3 Alpha, я был впечатлен уровнем фотореализма и временной согласованностью результатов.
🔥 Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуй бесплатно!
🎙 Общайтесь в одном диалоговом окне с GPT4o/Gemini/Claude, выход в интернет, работа с файлами, неограниченное количество символов!
👨🎨 Создавайте изображения в MidJourney, DALL-E 3 и Ideogram
🆕 Любой образ, в любой локации с вашим фото сделает ФотоМастер
🎞 Генерируйте видео текстом или по картинке
🎵 Сочиняй мировые хиты с помощью Suno
🖼 Редактор с 12 различными ИИ-инструментами для ретуши фото
☝️Это только часть функций, доступных в SYNTX!
Что такое Gen-3 Alpha?
Gen-3 Alpha позволяет генерировать высококачественные, детализированные и высокореалистичные видеоролики длиной от 10 секунд с высокой точностью, разнообразными эмоциональными выражениями и движениями камеры.
Gen-3 Alpha - это первая модель из новой серии моделей, обученных в Runway на современной инфраструктуре, предназначенной для крупномасштабного мультимодального обучения. По сравнению с Gen-2 она значительно улучшила точность, согласованность и движения.
Взгляните на эти примеры:
Промпт: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.
Этот пример демонстрирует способность Gen-3 Alpha обрабатывать сложные отражения и быстро движущиеся объекты с поразительной реалистичностью.
Промпт: An astronaut running through an alley in Rio de Janeiro.
Способность модели генерировать детализированное окружение и правдоподобные человеческие движения здесь очевидна. Посмотрите на эти руки и ноги!
Промпт: Dragon-toucan walking through the Serengeti.
Промпт: A Japanese animated film of a young woman standing on a ship and looking back at camera.
Этот пример демонстрирует универсальность Gen-3 Alpha в передаче различных стилей. Как и модель MidJourney Niji, Gen-3 может очень хорошо копировать эстетику аниме.
Другие примеры вы можете посмотреть в официальном аккаунте Runway в X (Twitter).
Что нового в Gen-3 Alpha?
В Gen-3 Alpha реализовано несколько значительных обновлений по сравнению с предшественниками. Вот некоторые из самых важных:
- Реалистичная генерация людей. Это, пожалуй, самое очевидное обновление. Gen-3 Alpha теперь может создавать реалистичных персонажей с широким спектром действий, жестов и эмоций.
- Повышенная точность и согласованность. Gen-3 Alpha существенно улучшила качество генерируемых видеороликов. В новой модели достигнута замечательная временная согласованность, благодаря чему переходы и общий поток видео выглядят более естественными и плавными.
- Тонкий временной контроль. Одной из отличительных особенностей Gen-3 Alpha является способность обрабатывать высокоописательные, плотные во временном отношении титры. Эта возможность позволяет создавать фантазийные переходы и точно определять ключевые кадры элементов в сцене.
- Мультимодальные возможности. Модель не может просто генерировать видео! Она поддерживает различные режимы ввода, такие как "изображение-видео" и "текст-изображение".
- Кастомизация. Скоро мы, как потребители, сможем создавать пользовательские версии моделей Gen-3. Подобно Stable Diffusion, видеомодели можно будет настраивать так, чтобы они генерировали видео с пользовательскими стилями.
Как получить доступ к Gen-3 Alpha?
На данный момент точной даты выхода нет, Runway лишь показала демо-видео на своем сайте и в социальной сети X. Также неясно, будет ли она доступна на бесплатном тарифе Runway или для доступа к ней потребуется платная подписка.
По словам технического директора Runway, Gen-3 будет работать со всеми существующими ИИ-инструментами Runway.
Runway Gen-3 Alpha скоро появится в составе продукта Runway, и в нем будут доступны все существующие режимы, к которым вы привыкли (текст в видео, изображение в видео, видео в видео), а также некоторые новые, которые только сейчас стали возможны в более мощной базовой модели.
Если вы являетесь компанией, заинтересованной в доработке и создании индивидуальных моделей, свяжитесь с Runway с помощью этой формы.
Приятно видеть, как одна из первых компаний, выпустивших ИИ-модели для создания видео, возвращается. Очевидно, что Runway не отказывается от борьбы за звание доминирующего игрока или лидера в быстро развивающемся мире генеративного ИИ-видео.
Однако важно помнить, что эти примеры отобраны вручную. Кто знает, сколько попыток потребовалось, чтобы добиться такого качества? Настоящая проверка возможностей Gen-3 Alpha будет проведена после ее публичного релиза. Так что пока не стоит слишком впечатляться примерами.
На данный момент это мой личный список из 5 лучших AI-генераторов видео, основанный на качестве и согласованности:
- Sora от OpenAI
- Gen-3 Alpha от Runway
- Kling от Kuaishou
- Dream Machine от Luna Labs
- Veo от Google
Согласны ли вы с моим списком?
Ажиотаж вокруг Sora от OpenAI угасает с появлением конкурентов. Возможно, OpenAI пора открыть публичный доступ к своей ИИ-модели для генерации видео.
🔥 Телеграм-бот SYNTX предоставляет доступ к более чем 40 ИИ-инструментам. Без ВПН, оплата любой картой, запросы на любом языке, пробуй бесплатно!
🎙 Общайтесь в одном диалоговом окне с GPT4o/Gemini/Claude, выход в интернет, работа с файлами, неограниченное количество символов!
👨🎨 Создавайте изображения в MidJourney, DALL-E 3 и Ideogram
🆕 Любой образ, в любой локации с вашим фото сделает ФотоМастер
🎞 Генерируйте видео текстом или по картинке
🎵 Сочиняй мировые хиты с помощью Suno
🖼 Редактор с 12 различными ИИ-инструментами для ретуши фото
☝️Это только часть функций, доступных в SYNTX!
Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.
Источник статьи на английском - здесь.