Alibaba выпустила модель для генерации видео Wan 2.1 с открытым исходным кодом

Пользователи сравнивают качество роликов с Veo 2 от Google.

Китайская компания запустила сайт видеогенератора Wan и выложила код модели Wan 2.1. В соцсетях пишут, что она «лучше» Veo 2 от Google.

Пользователь сравнил, как модели от Alibaba и Google сгенерируют котов-пловцов «на Олимпийских играх». Источник: fofr

Модель может создавать видео по текстовому описанию или из изображений, редактировать ролики и генерировать для них аудио.

Генерация Wan 2.1. Источник: Telegram-канал Метаверсище и ИИще

Пример «оживления» фотографии с помощью Wan 2.1. Источник: fofr

Пример, как Wan 2.1 «соблюдает» законы физики. Источник: Wan

Пример редактирования видео с помощью Wan 2.1. Источник: Источник: Wan

Пример дополнения исходного видео с помощью Wan 2.1. Источник: Wan

Wan 2.1 сгенерировала видео и звук всплеска воды. Источник: Wan

Wan 2.1 генерирует видео с текстовыми плашками. Источник: Wan

Модель Wan 2.1 можно установить локально, скачав с GitHub или HuggingFace. В семействе Wan есть облегчённая T2V-1.3B, которая требует 8,19 ГБ VRAM и «совместима почти со всеми потребительскими графическими процессорами». Она создаёт пятисекундные видео в разрешении 480р.

Компания не уточнила, добавили ли Wan 2.1 в чат-бот Qwen Chat. На момент написания заметки функция создания роликов на сайте не работает из-за длинной очереди.

Китайская Alibaba научила ИИ-модель Qwen обрабатывать 1 млн токенов, генерировать картинки и видео

Функции доступны на сайте бесплатно.