Как мы создали короткометражку полностью на ИИ: опыт, ошибки и выводы
Искусственный интеллект активно входит в сферу творчества, позволяя сценаристам, художникам и режиссёрам расширять границы возможностей. Мы провели эксперимент по созданию полноценного короткометражного фильма, используя только нейросети. Делимся процессом, сложностями и результатами.
Сценарий
Для формирования сюжета мы использовали чат-бот "Гострайтер" в Telegram, а затем дорабатывали его с помощью ChatGPT. Генерация идей шла быстро, но текст требовал редактирования: корректировки логики, стилистики и общей связности повествования.
Создание концепта и образа персонажей
Чтобы персонажи выглядели цельно и соответствовали задуманному стилю, мы использовали:
- Ideogram – для первичного создания концепта.
- KREA – для построения 3D-моделей и подготовки ракурсов.
- Weights – для обучения модели, чтобы стабильно получать изображения в едином стиле.
- KREA использовался для создания 3D-модели персонажа, что позволило сформировать кадры в разных ракурсах. Эти кадры затем использовались для обучения Sora модели, чтобы сохранить стиль персонажа в процессе генерации изображений.
Генерация раскадровки
Мы попросили ChatGPT на основе сценария создать детализированные раскадровки для каждой сцены. Важно было учитывать контекст: какую задачу решает сцена, какие детали фона нужны, какая композиция кадра будет лучше всего передавать смысл.
Обучение модели персонажа
Для достижения единообразия мы обучили модель, загрузив набор изображений персонажа в разных ракурсах. Это позволило сократить расхождения между сценами и улучшить качество итоговых кадров.
Генерация старт��вых кадров на основе раскадровки
Используя обученную модель, мы начали создавать статичные изображения для ключевых сцен. Некоторые кадры получались сразу удачными, но большая часть требовала доработки.
Сохранение стиля персонажа.Ссылка на полный урок https://t.me/neuro_praxis/387
Правки в стартовые кадры
Редактирование стартовых кадров. Ссылка на полный урок https://t.me/neuro_praxis/450
Правки в стартовые кадры
Помимо использования переобученных моделей, мы также вносили правки в уже готовые кадры с помощью Krea или Google AI Studio. Эти инструменты помогали исправлять ошибки генерации: добавлять элементы окружения, устранять артефакты, корректировать соотношение сторон и устранять несостыковки между сценами.
Используем нейрофотошопы для изменения стартовых кадров
Поделимся лайфхаками, которые экономили нам кучу времени и нервов при создании нашей нейрокороткометражки, а именно – как мы приспособили нейроредакторы изображений для получения идеальных стартовых кадров.Текстовые редакторы:Google AI Studio (важно выбрать модель Gemini 2.0 Flash) Grok ChatGPTРедактор с графическим интерфейсом:Krea AI (режим Edit).
Генерация видео
В ходе разработки мы тестировали множество сервисов: Hailuo AI, Runway, Sora, Yuewen и Kling. С точки зрения стабильности и экономии, самым эффективным оказался Kling. Он предлагал множество настроек для персонализации движений персонажей и камеры, а также обеспечивал стабильную генерацию движений. При этом он оказался самым доступным по цене: 97% всех ключевых кадров мы анимировали именно с помощью Kling.
Важный момент – работа с движениями.
Нейросеть способна создавать естественные движения, но проблема заключается в их нестабильности.
Это можно решить двумя способами:
1) Повторная генерация (увеличивает расход токенов).
2) Корректировка промпта, где описывается только одно движение с акцентом на плавность. Если ИИ хватает времени генерации для воплощения движения, результат будет стабильнее.
При формировании промпта учитывалось сразу несколько параметров: окружение, действия персонажей, освещение, настроение и движение камеры. Это позволяло добиться более точных результатов при генерации сцен.
Монтаж
Финальный этап – соединение сгенерированных видеофрагментов в единую ленту. Мы также работали над цветокоррекцией, наложением музыки и добавлением дополнительных атмосферных и нарративных кадров, если сцена требовала дополнения. Этот процесс позволил создать более целостную и выразительную историю.Итог: ключевые выводы.
ИИ – мощный инструмент, но требует контроля.
Процесс нельзя автоматизировать полностью, приходится вносить правки вручную. Генерация сложных движений – слабое место. Движения персонажей, особенно танцы и боевые сцены, пока сложно создать без артефактов. Обучение моделей – важный этап. Без этого персонажи в разных сценах могут отличаться. Грамотная организация работы экономит ресурсы. Подбор инструментов и оптимизация генерации снизили затраты на токены и ускорили процесс.Что дальше?
Мы продолжаем исследовать возможности ИИ в создании контента. Впереди работа с озвучкой, тестирование новых инструментов и создание более сложных сцен.
Кстати, мы опубликовали нашу нейросетевую короткометражку у нас в ТГ канале "Нейропрактика"