Как генерировать видео нейросетью Luma? И как ей пользоваться в России?
Sora в подписке за $200 показывает себя не так хорошо, как все думали. Поэтому мы искали другие варианты нейросетей на том же уровне, но сильно дешевле, и нашли Luma Dream Machine. Давайте посмотрим, как она себя показывает.
Что за Luma и как она работает?
Luma Dream Machine — это модель преобразования текста в видео, созданная базирующейся в Сан-Франциско компанией Luma Labs, занимающейся генеративным искусственным интеллектом , которая ранее создала Genie, генератор 3D-моделей . Она была выпущена 12 июня 2024 года.
Как работают генераторы видео?
Генератор видео на основе ИИ — это приложение, которое объединяет технологии ИИ, такие как машинное обучение и компьютерное зрение, для автоматизации создания видеоконтента. Эти генераторы анализируют огромные объемы данных, включая изображения, видео и текст, для создания связных и визуально привлекательных видео.
Машинное обучение играет важную роль в работе видеогенератора ИИ. Обучаясь на больших наборах данных, алгоритмы машинного обучения изучают закономерности и корреляции, которые позволяют им генерировать визуально связные видео.
Эти алгоритмы могут обнаруживать и анализировать визуальные особенности, такие как объекты, сцены и эмоции, и использовать эту информацию для создания захватывающих видео.
Что умеет Luma Dream Machine?
Генерация на основе текста
Можете писать запросы для Luma простыми словами
Создание видео на основе картинки
Luma может создавать видео с указанием конечного кадра, начального, а так же обоих кадров в одном видео.
С указанием начального кадра
С указанием конечного кадра
На основе первого и последнего кадра
Продление видео
Варианты пропорций (разрещения)
Вертикальные: 3:4, 9:16, 9:21;
Горизонтальные: 16:9, 4:3, 21:9;
Квадрат: 1:1 - 1024x1024;
Где какие пропорции используются:
- YouTube – 16:9
- YouTube Shorts – 9:16
- Reels – 9:16
- TikTok – 9:16
- LinkedIn – 16:9
- Pinterest – 1:1 or 9:16
- Twitter – 16:9
Указание движения камеры
Для дополнительной настройки видео, всегда можно указать то, как должна двигаться камера в кадре. Для этого просто укажите это текстом.
Панорамирование
Масштабирование/Наклон камеры
Вращение
Следование за объектом
Ошибки и ужасные примеры генераций
Разумеется, при генерациях бывают и артефакты. Все-такие генераторы видео еще не идеальны
Как пользоваться нейросетью Luma в России?
Для использования в своих сервисах через api этой нейросети, нужно оплатить доступ иностранной картой.
А для того, у кого ее нет, мы как обычно сделали доступ к этой нейросети со всеми настройками.
К сожалению, нейросеть пока дорогая, потестировать можете ее тут в сервисе Luma_video_bot
Тут есть подробная инструкция и больше примеров, а так же на главной много разных сервисов с нейронками от KolerskyAi на главной странице.