Runway выпустила Gen-3 Alpha Turbo для всех

Ребята из Runway выкатили новую версию своего инструмента для превращения картинок в видео – Gen-3 Alpha Turbo.

Изначально у вас будет 525 кредитов, стоимость одной генерации — 50 кредитов

Генерирует эта нейросеть видео около минуты, что очень быстро. В сравнении с такими конкурентами, как Luma Dream Machine, Kling и т.д., это очень крутой показатель, так как у других нейросетей из-за большого спроса выросло время генерации, а тут всего минута.

Попробовал я сгенерировать что-то мрачное в стиле Ведьмака и взял, собственно, фото из него же.Вот фото:

Начал я делать promt вот такой:
'"Aerial view: a huge spider fights a man with a sword. Everything happens in the swamp. Dramatic, cinematic lighting with occasional flashes of lightning through the clouds. An eerie, unsettling atmosphere with desaturated colors and ominous silence."

Перевод:
"Вид с воздуха: огромный паук сражается с человеком с мечом. Всё происходит на болоте. Драматическое кинематографическое освещение с редкими вспышками молний сквозь облака. Жуткая, тревожная атмосфера с ненасыщенными цветами и зловещей тишиной."

И он начал выдавать мне вот такое:

В данном контексте мне не понравилось, как выглядит паук, я ещё какое-то время провёл с изменениями в промпте и в итоге изменение spider на monster и другие мелкие изменения дали как мне кажется, намного интереснее результат.

Можно было бы и дальше дорабатывать promt и мудрить, но для наглядности хватит и этого. Для тех, кто хочет тоже попробовать, вот ссылка на их официальный сайт.

После авторизации вам нужно зайти в раздел Text/Image to Video

И затем загрузить фото и написать promt к нему

И тут появляется главная проблема: как же написать promt так, чтобы получилось не чёрт пойми что?

Промпт - это текстовое описание желаемого видео, которое вы даете Runway Gen3 в качестве задания. Чем яснее и детальнее вы опишете сцену, тем лучше будет результат.

[Shot type/Camera movement]: [Scene description]. [Additional details].

[Тип кадра/Движение камеры]: [Описание сцены]. [Дополнительные детали].

1. Shot type/Camera movement (Тип кадра/Движение камеры) - здесь указывается тип кадра (общий, средний, крупный) или движение камеры (статичный кадр, панорама, наезд и т.д.).

Примеры:

2. Scene description (Описание сцены) - основное описание того, что происходит в кадре: обстановка, объекты, персонажи и их действия. Это главная часть промпта.

Пример: "A majestic waterfall cascading down a cliff face into a misty pool surrounded by lush vegetation." (Величественный водопад, низвергающийся по скале в окутанное туманом озеро, окруженное пышной растительностью.)

3. Additional details (Дополнительные детали) - визуальные нюансы, уточнения, описание освещения, цветовой гаммы, спецэффектов и т.д.

Пример: "Golden hour lighting. Ethereal, dreamlike atmosphere with lens flare and a subtle rainbow in the mist." (Освещение в золотой час. Эфирная, сказочная атмосфера с бликами и тонкой радугой в тумане.)

Если вы хотите детальнее разобраться, как же его писать, то можете почитать гайд от самих же Runway или же переходите в тг-канал, я ежедневно выкладываю новости в сфере ИИ, разные сервисы и фишки, связанные с ней.