Новый китайский ИИ-видеогенератор Vidu теперь доступен всем желающим

Спустя три месяца после первоначальной превью-версии Vidu от Shengshu Technology теперь доступен для всех желающих. Этот новый генератор видео с искусственным интеллектом призван составить конкуренцию популярному, но еще не вышедшему Sora от OpenAI.

Если вы не заметили, несколько дней назад в открытом доступе появился еще один китайский ИИ-видеоинструмент, Kling. Вы можете зарегистрироваться, указав адрес электронной почты, и получать бесплатные кредиты при каждом входе в систему.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

Vidu - это инструмент на базе ИИ, который может генерировать видео из текстовых описаний или существующих изображений. Vidu был анонсирован 27 апреля 2024 года и предназначен для генерации 4-секундных видеороликов высокой четкости менее чем за 30 секунд. Он может создавать видео как в стиле аниме, так и в реалистичном стиле.

ИИ-модель Vidu построена на запатентованной архитектуре модели визуальной трансформации под названием Universal Vision Transformer (U-ViT). Она объединяет две ИИ-модели преобразования текста в видео: Diffusion и Transformer. Такая архитектура позволяет создавать высококачественные видеоролики с динамичными движениями камеры, сложной мимикой, аутентичными эффектами освещения и тени.

Так выглядит панель управления на сайте:

При регистрации пользователи получают 80 бесплатных поинтов в месяц и получают качественный результат, хотя в бесплатной версии разрешение немного ниже. Каждая генерация ограничена 4 секундами (в платной версии - 8 секунд).

Зайдите на сайт Vidu и зарегистрируйтесь с помощью электронной почты. На верхней навигационной панели нажмите на кнопку «Create Video».

Вот пример:

Ниже готового видеофайла вы можете выбрать масштабирование или повторное использование промпта, нажав на кнопку «ConfigCopy». Вот окончательный результат:

Это видео представляет собой 4-секундный файл размером 688 × 384. Из-за небольшого размера генерация заняла меньше минуты. Обратите внимание, что у других ИИ-видеоинструментов, генерирующих файлы с разрешением 1080p, на одно видео уходит не менее 2-3 минут. Каждая генерация стоит 4 кредита.

Страница настроек довольно проста. Вы можете выбрать стиль видео: общий или анимация. Обратите внимание, что стиль видео применяется только в режиме «текст в видео», а опция 8-секундной длительности доступна только для платных пользователей.

Давайте попробуем использовать этот промпт в анимированном стиле:

Ух ты! Я был очень впечатлен качеством полученного видео. Оно выглядит так, будто создано на основе анимационного фильма студии Ghibli. Однако вы можете заметить, что ИИ-модель испытывает трудности с согласованностью действий. В промпте медведь должен одной лапой держать телефон у уха, а другой чистить себя.

Теперь давайте посмотрим, как работает функция преобразования изображения в видео. После загрузки изображения укажите, будет ли оно использоваться в видео в качестве первого кадра или референса персонажа.

Вот референсное изображение из Midjourney:

Это выглядит очень круто. Меня удивило, что Vidu намеренно добавляет в сцену больше деталей с разборчивым текстом на манишке бегуна.

Одна из областей, в которой большинство ИИ-генераторов видео испытывают трудности, - это рендеринг текста. Давайте посмотрим, как Vidu справится с этим промптом:

Текст не точный, но буквы разборчивые. Глядя на эти результаты, можно сказать, что эта программа лучше, чем Kling, справляется с генерацией текста в видео. Вот как Kling справляется с отрисовкой текста в ИИ-видео:

Это сумбур, и тексты совсем не соответствуют промпту.

Вот краткая информация о тарифных планах:

Также пользователи могут оформить годовую подписку и получить скидку 20%.

И прежде чем я закончу эту статью, скажу, что Клинг только что ввел платную подписку, стоимость которой начинается с 5 долларов и доходит до 46 долларов в месяц.

Уровень pro дает вам следующие преимущества:

Для таких бесплатных пользователей, как я, сохраняется ежедневный бонус за вход в систему в размере 66 кредитов. Посетите сайт klingai.com, чтобы узнать больше о тарифных планах.

В целом, Vidu - отличное дополнение к короткому списку общедоступных ИИ-генераторов видео. По качеству он опережает Runway Gen-3 Alpha, но немного уступает Sora от OpenAI. Я ценю то, что бесплатные пользователи получают бесплатные ежемесячные кредиты, хотя было бы лучше, если бы они предоставлялись ежедневно.

Кроме того, рендеринг текста и согласованность с промптом по-прежнему остаются одними из самых сложных задач в ИИ-видеороликах. Хотя Vidu все еще борется с этим, уже заметна большая разница по сравнению с тем, как это было несколько лет назад.

Я рад, что в 2024 году генерация видео наконец-то догонит генерацию текста и изображений. В ближайшие месяцы мы можем увидеть больше ИИ-видеогенераторов с более высоким качеством генерации и более дешевой подпиской.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

#vidu #ai

Источник статьи на английском - здесь