Как игровые технологии и face tracking изменят коммерческую съёмку

Технологии захвата движения в кинематографе используют уже давно, но качественная передача мимики до недавнего момента оставалась доступной лишь мировым киностудиям. Новые IPhone и игровой движок Unreal Engine 4 (UE4) изменили правила игры. C помощью TrueDepth камеры смартфона можно отслеживать движения лица актёра и переносить их на 3D-персонажа в режиме реального времени. А ещё это очень дёшево. О перспективах технологии в коммерческой съёмке фантазирует видеопродакшен LISPAKO.

Unreal Engine разработали в Epic Games в 1998 году и изначально это был исключительно игровой движок для шутеров от первого лица. Но технология оказалась настолько вариативной, что постепенно его адаптировали для других игровых жанров, а к четвёртой версии он стал использоваться и в киноиндустрии.

Самым знаменитым примером стал сериал «Мандалорец». Там UE4 использовали для создания адаптивного фона вместо хромакея. Зелёный фон в студии заменили на большие LED-экраны, куда в реальном времени рендерится фон. Преимущество такого подхода в том, что движок сам поменяет положение объектов, освещение и фокусировку в зависимости от угла съёмки, что значительно сэкономит время на пред- и постпродакшене. Прямо в процессе съёмок можно дорисовывать необходимые объекты и менять время суток. Также UE4 позволяет создать VR-среду для актёров и группы, где всё может меняться прямо в процессе съёмок.

Движок даёт и неограниченные возможности для 3D-анимации. Помимо фонов, разработчики уже попробовали рендерить в реальном времени физические объекты, например, автомобили. На конференции GDC Epic Games показали создание Chevrolet Camaro на основе реальной модели без кузова.

Если технологию захвата движений тела уже неплохо усовершенствовали в кино и играх, то мимика оставалась серьёзной проблемой. Для считывания движения лица используют тяжёлую, неповоротливую и дорогую аппаратуру, данные с которой всё равно приходится дорабатывать вручную. Помощь пришла с рынка портативных устройств.

Начиная с IPhone X Apple использует в смартфонах TrueDepth камеру для распознавания лиц. Камера отслеживает положение 51 точки на лице и присваивает каждой значение от 0 до 1, в зависимости от интенсивности движения. Эти данные можно экспортировать в UE4 и примерить на готового персонажа в режиме реального времени. Риг будет повторять не только движение мышц, но и направление взгляда актёра. Технология позволяет очень качественно перенести мимику с человека на персонажа, при этом не требуя серьёзного оборудования и долгого постпродакшена.

Создание персонажа напоминает игру в Sims. Можно выбрать одного из готовых ригов и изменить форму глаз, ушей, носа, цвет кожи и волос. А затем примерить на него собственную мимику. На всё уйдёт не более часа. Пока технология находится в бета-тестировании, но в скором времени её откроют для всех.

Пока перенос мимики возможен лишь на анимированных людей, для всех персонажей также прописан человеческий «скелет». Но после завершения тестирования пользователи ожидают появления возможности создавать и фантастических персонажей или животных. Правда, будет ли настолько же легко переносить на них движения тела, пока не ясно.

Мы уверены, что выход технологии из бета-тестирования обрушит стоимость анимирования 3D-персонажей. Для этого есть несколько причин: доступность оборудования, бесплатный доступ к движку и сокращение времени на постпродакшен.

Для захвата мимики теперь потребуется только смартфон. Это может быть IPhone X или более поздняя модель. Его стоимость начинается от $600. Движок UE4 с 2015 года распространяется бесплатно, но для разработчиков игр, чья выручка превышает $3000 в квартал, предусмотрен роялти в размере 5% от выручки с продаж игры.

Значительно удешевит стоимость производства и сокращение затрат на постпродакшен. Раньше всю анимацию лиц приходилось доделывать вручную, поэтому работа над сценой длиной в несколько секунд могла занимать несколько часов. Описанный способ позволяет создать полность готового к экспорту в среду персонажа за час.

Локомотивом изменений в производстве видеоконтента, конечно, становятся большие киностудии. Учитывая, что они уже заявили проекты, полностью поставленные на UE4, вскоре мы увидим, как применяют face tracking в полном метре. Энтузиасты уже используют Unreal Engine для воссоздания сцен из любимых фильмов, а также снимают собственные короткометражные мультфильмы. Осталось дождаться первых рекламных роликов.

Отдельные возможности UE4 уже используются в коммерческой съёмке. Например, можно снять виртуальную студию с LED-экранами вместо хромакея под свой проект или даже устроить там виртуальный ивент. Так, МТС во время карантина успела провести в расширенной реальности целый музыкальный фестиваль, где зрители могли взаимодействовать с артистами.

Среди клиентов LISPAKO несколько IT-компаний, который организуют митапы и конференции. Мы планируем экспериментировать с созданием для них виртуальных локаций и переносом в них 3D-моделей спикеров. А ещё вместе с нашими партнёрами мы планируем заменить интервьюера роботом. Как мы тренируемся, смотрите в коротком ролике:

Если вы уже использовали UE4 и face tracking в проектах для коммерческих клиентов или пока только вынашиваете такую идею, расскажите в комментариях. Давайте пофантазируем о будущем вместе.