Нейросеть Kandinsky 4.0 Video: что умеет и чем отличается от предыдущей модели

Обновленная версия генерирует более реалистичные видео, но иногда превращает животных в персонажей хорроров.

В декабре «Сбер» представил обновлённую версию нейросети Kandinsky на конференции AI Journey 2024. По сравнению с предыдущей моделью Kandinsky 4.0 создаёт ещё более реалистичные видео на основе промпта или загрузки картинки.

Пока что пользоваться новой версией могут дизайнеры, художники, кинематографисты и блогеры, которым разработчики предоставили доступ. А для остальных пользователей его обещают открыть в первом квартале 2025 года. Но, несмотря на это, протестировать генерацию видео всё-таки можно — на онлайн-ресурсе Hugging Face.

Содержание:

Это нейросеть, которая создаёт изображения, анимацию и видео, лимита по количеству генераций в день нет.

Больше о Kandinsky — в статье.

Главное — видео теперь выходят реалистичнее.

Картинка уже не напоминает компьютерную игру из 90-х или десятки раз перезаписанную кассету VHS. Например, до этого среднестатический ролик, сгенерированный в Kandinsky, выглядел так:

Ещё частенько Kandinsky выдавал такое:

А вот какой степени реалистичности разработчики добились в Kandinsky 4.0:

Пару слов про устройство Kandinsky 4.0

Новая версия Kandinsky состоит из четырёх моделей:

Поможет Hugging Face — онлайн-сервис, на котором можно бесплатно протестировать нейросети. Сейчас на нём есть только одна модель Kandinsky — T2V 4 Flash.

Инструкция

Ещё можно нажать на «Beautify your prompt», и тогда нейросеть сама дополнит запрос деталями.

Подсказка: пока что Kandinsky 4.0 T2V 4 Flash лучше понимает длинные подробные промпты, в особенности те, что составлены с помощью функции «Beautify your prompt». Чем детальнее промпт, тем выше вероятность получить релевантный результат. Если нужно создать реалистичное видео спящего кота, лучше расписать стиль изображения, цвет, фон, окружающие предметы и так далее. Больше о том, как создавать промпты в Kandinsky, — в статье.

Ниже — инструкция, как создавать ролики в старой версии Kandinsky. Не исключено, что после обновления разработчики что-то изменяет в интерфейсе.

Чтобы сгенерировать видео, нужно:

Получить сгенерированное видео и, если результат не устроит, изменить промпт. А вот отредактировать уже сгенерированное видео нельзя.

Выводы делать сложно, потому что «Сбер» ещё не открыл доступ к Kandinsky 4.0 всем пользователям. Ниже — только то, что удалось выяснить благодаря Hugging Face.

Плюсы:

Минусы:

А ещё Kandinsky часто не учитывает анатомию, хотя и соблюдает промпт. Выходит жутковатый микс: из-за того, что само изображение выглядит реалистично, животные и люди превращаются в героев хоррора.

Например, вот что нейросеть сгенерировала про промпту «Милый рыжий кот спит на диване».

А здесь запрос был «Собака танцует на фоне египетской пирамиды, яркие цвета, жизнерадостное видео, мультипликация».

Можно, конечно, дать шанс Kandinsky сгенерировать видео по промпту на английском языке. Допустим, по такому: «Two cute puppies are playing» («Два милых щенка играют»).

Или расширить этот же промпт с помощью «Beautify your prompt»: «Two adorable puppies, one with fluffy golden fur and the other with soft white fur, are frolicking in a lush green meadow on a sunny day. The golden puppy chases a colorful ball, while the white puppy jumps playfully around him. They tumble over each other, wagging their tails excitedly. The scene is filled with laughter and joy as they explore their surroundings, sniffing flowers and running through puddles» («Два очаровательных щенка, один с пушистой золотистой шёрсткой, а другой — с мягкой белой, резвятся на зелёном лугу в солнечный день. Золотистый щенок гоняется за разноцветным мячиком, а белый щенок игриво прыгает вокруг него. Они кувыркаются друг через друга, радостно виляя хвостами. Сцена наполнена весельем и радостью, щенки исследуют окрестности, нюхают цветы и бегают по лужам»).

Ниже — примеры, которые показывают, как Kandinsky справляется с промптами.

Промпт: «A ginger cat is peacefully sleeping on a cozy sofa. The room is warm and inviting, with soft afternoon sunlight filtering through the curtains. The cat’s fur is a rich, deep orange, and it rises and falls gently with each breath. Occasionally, its paws twitch slightly as if dreaming of chasing imaginary prey. The scene is serene and tranquil, capturing the essence of a lazy afternoon nap» («Рыжий кот мирно спит на уютном диване. В комнате тепло и уютно, сквозь шторы проникает мягкий полуденный солнечный свет. Шерсть кота насыщенного тёмно-оранжевого цвета мягко поднимается и опускается при каждом вздохе. Время от времени лапы слегка подёргиваются, как будто во сне кот гонится за воображаемой добычей. Сцена безмятежная и спокойная, передающая суть ленивого послеобеденного сна»).

Промпт: «Утро в летнем лесу. Ветер колышет зелёные деревья. На голубом небе ярко светит солнце, его лучи проникают сквозь густую листву, создавая игру света и тени. Всё вокруг наполнено гармонией и безмятежностью».

Промпт: «Милая девушка с розовыми волосами сидит на диване и читает книгу. На девушке белая футболка, голубые джинсы и жёлтые кеды. На фоне висят плакаты музыкальных групп».

Промпт: «Самолёт летит по небу, реалистичное видео».

Промпт: «A red car is driving through a bustling city at night, with neon signs illuminating the streets. The camera follows the car as it maneuvers smoothly through traffic, capturing the vibrant colors of the city lights reflecting off its sleek surface. The atmosphere is lively, with people walking on the sidewalks and other cars passing by. The neon signs cast a warm glow, adding to the realistic and immersive feel of the video» («Красная машина едет по оживлённому городу ночью, улица освещена неоновыми вывесками. Камера следует за автомобилем, который плавно маневрирует в потоке, запечатлевая яркие цвета городских огней, отражающиеся на его гладкой поверхности. Атмосфера оживлённая: по тротуарам гуляют люди, мимо проезжают другие автомобили. Неоновые вывески создают тёплое свечение, придавая видео реалистичность и эффект полного погружения»).

Промпт: «В ярком и красочном анимационном стиле нарисованные кролики прыгают по тропинке в лесу. Солнечные лучи пробиваются сквозь кроны деревьев, создавая игру света и тени. Яркие красочные цвета, радостная атмосфера».

Промпт: «Мотоциклист быстро едет по дороге в пустыне, реалистичное видео, максимальная детализация».

А в какой нейросети вы обычно генерируете видео?