Как менялась индустрия световых и видеоинсталляций: от домашних проекторов до ChatGPT и Midjourney

Если вы хоть раз бывали на концерте, наверняка видели интерактивные анимации вокруг артиста, погружающие вас в особую атмосферу. Технологий, которые создают такие представления, не было еще 15 лет назад. О том, какой путь развития прошел мультимедийный продакшен за это время, рассказал Дмитрий Напольнов, технический директор студии Sila Sveta.

Сцена «оживает», дополняясь огромными графическими проекциями, — так, что даже самые далекие от исполнителя зрители могут прочувствовать эмоции и атмосферу концерта. Сейчас это стало частью шоу, за которым идут зрители, но не все знают, как именно технологии пришли в нынешнюю точку развития.

Визуальным сопровождением концертов занимаются студии мультимедийного продакшена. Первая такая студия в России — Sila Sveta — появилась в 2008 году. Ранние «инсталляции» делали с помощью обычных слайдовых проекторов — устройства которые просто выводят изображение на поверхность. Сейчас их может приобрести любой желающий, устроив себе мини-кинотеатр в домашних условиях.

В то время технологий для видеомэппинга просто не было — никаких медиасерверов, которые сейчас так облегчают создание инсталляций. Все упиралось в собственные технологические разработки и «наколеночный» код. Программное обеспечение писали сами, но ограничения не мешали делать масштабные и интересные работы.

Так, Sila Sveta делала перформанс с Анной Абалихиной — специалисты придумали концепт с движением танцора на фоне проекции на пол и стены. Для этого нужно было передвигать камеру и подстраивать контент в реальном времени, чтобы создать иллюзию, будто танцор перемещается в воздухе. Нашли ребят из Воронежа, которые помогли создать сетап для трекинга. XR-технология, когда артиста помещают на фон из диодных экранов, а контент подстраивается под камеру, чтобы создать виртуальный ландшафт, появилась гораздо позже.

Сильный толчок в развитии технологии видеомэппинга получили в пандемию: мероприятия перестали проводиться вживую и понадобилось развивать виртуальные пространства. В то время прогресс в мультимедийных технологиях дошел до очень высокого уровня, хотя Sila Sveta давно делала подобное, только другими инструментами. Одна из работ того времени — контент для виртуального концерта Билли Айлиш, который студия делала совместно с Moment Factory.

Гигантский паук на фото, как и многие другие работы студии Sila Sveta, сделаны с помощью диодных экранов. Они — один из векторов, куда движется индустрия: световая проекция стремительно теряет популярность, уступая место диоду. Причин несколько:

Изображение на диодном экране отличается от проекционного — оно более резкое, цифровое, в то время как проектор выдает ламповую, теплую картинку. Любители «ламповости» могут посетовать на прогресс, но преимущества диодных технологий неоспоримы: не нужно искать место для установки проектора, нет необходимости просчитывать, где светлая зона, а где может образоваться тень. Наконец, можно не опасаться, что в объектив проектора попадет лазер и сожжет матрицу.

Диодный экран — большой скачок в технологиях, и не только в индустрии видеомэппинга. В ближайшем будущем это коснется и рядовых потребителей. К примеру, домашние телевизоры через несколько лет будут выпускаться с диодными экранами: технология LCD доживает свои последние годы, как и проекторы.

LG недавно выпустила свою версию диодного экрана для кинотеатров Miraclass, а у Samsung уже целая линейка таких экранов. Это важный показатель, потому что кинопрокатчики больше всех критикуют качество экранного изображения. И если даже среди них зреет спрос на технологию, значит, она близка к совершенству.

Еще одно преимущество диодных экранов в том, что они собираются из кабинетов — блоков со световыми модулями. Можно скомпоновать сколько угодно кабинетов в один гигантский экран. Другое дело, что для его применения пока еще нет контента. Но, как показывает практика, контент всегда приходит вслед за технологией. Так, когда-то Full HD сменил HD, а ему на смену пришел 4К. Сейчас есть уже 8К, и объем контента в этом формате постепенно увеличивается.

Использование нейросетей

Как и во многих высокотехнологичных областях, искусственный интеллект в производстве шоу сегодня — главный тренд. Создатели шоу предвкушают тот момент, когда нейросети научатся адекватно генерировать видео — это станет настоящим прорывом в видеомэппинге. Мы видим, на что сегодня способна Midjourney, но одно дело — создать статичное изображение, другое — целую анимированную сцену. То, что генерируется сейчас, не отвечает требованиям серьезного продакшена, но прогресс не стоит на месте.

В портфолио Sila Sveta есть проекты, графика которых полностью сделана на нейросетях, — например, Videocittà в Риме. Мы натянули большую проекционную сетку, разместили ее на историческом объекте и транслировали видеоконтент, который был изначально сгенерирован ИИ. Правда, без обработки после генерации не обошлось.

Генерация графики в реальном времени

Следующий этап — умение этой графики работать в паре с музыкой. Для этого нужны не только обученные нейросети, но и сверхбыстрые серверы. И мы видим, что «железо» из года в год становится все производительнее.

Все идет к тому, что в какой-то момент можно будет просто сказать компьютеру, какие ты хочешь визуалы, и он их моментально сгенерирует. Или, может быть, вскоре он сам будет понимать, что звучит романтическая мелодия, а значит — самое время создавать и транслировать более утонченную графику. Бесконечный генератор контента — кто бы мог представить себе такое еще несколько десятилетий назад!

Появляется все больше инструментов, которыми любой человек может пользоваться, чтобы избавиться от рутинных задач и освободить время для творчества. Поэтому самыми востребованными будут специалисты с креативным мышлением и творческими навыками.

Никакой ChatGPT не подскажет сценарий действительно классной инсталляции, потому что у человека есть нейронные связи, которых нет у нейронных сетей. Они позволяют ему осознавать бренность этого мира и творчески перерабатывать ее во что-то интересное и значимое — в идею, которая всегда первична.

А вот когда уже есть интересная идея, можно спросить у ChatGPT: «Слушай, я придумал инсталляцию. Можешь набросать сценарий конкретного объекта?» И она создаст черновик, который можно будет расписать детальнее.

Если хотите вживую увидеть проект студии, вам стоит посетить Музей российских железных дорог в Санкт-Петербурге. Там мы создали инсталляцию «Стрелки времени». Это большой поворотный стол-барабан, как из телепередачи «Поле чудес». Вращая его, можно выбирать исторические периоды, про которые хочется узнать. Когда стрелка барабана останавливается на одном из секторов, на проекционных арках включается шоу.

Эта инсталляция — сама по себе произведение инженерного искусства. Мы очень тщательно ее проектировали и собирали из лучших на тот момент немецких комплектующих. Там стоят приводы Beckhoff, создан контур безопасности на датчиках SICK, который останавливает инсталляцию, если кто-то из посетителей вдруг пересек траекторию ее движения. И все работает как швейцарские часы — за пять лет ни одной жалобы.

Читайте также:

→ Звукорежиссер, stage manager группы «Машина времени» Роман Смирнов — о психоакустике

→ Врач лучевой диагностики Анна Хоружая — о восприятии музыки с научной точки зрения

→ Электронный музыкант Артём Собко — о синтезаторе как инженерном решении