Российские разработчики VR-оборудования VARYA: скоро виртуальные студии станут доступнее

Василий Громыко

— Мы сидим в виртуальной студии.

— Да. Так дешевле. 

Еще одна причина — я являюсь руководителем проекта по разработке оборудования для виртуального производства. Конкретно в нашем случае — трекинг положения и состояния объектива видеокамеры с помощью нашего комплекса "Камикс". Грубо говоря, создаем виртуальный двойник реальной камеры, учитывая искривление линзы, положение камеры и прочие тонкости. 

Виртуальные студии помогают добавить на видео эффект параллакса или совмещать реальное видео с виртуальным. Младший брат виртуальной студии — привычный зеленый фон, на который можно подставить виртуальный фон. Но это не устраивает продюсеров, режиссеров и эстетов. Чтобы повысить качество совмещения компьютерной и реальной графики, нужны виртуальные студии.

Мы с вами сейчас сидим на зеленом фоне, а на камере видна виртуальная среда. Когда камера двигается — фон двигается тоже. Это все благодаря трекингу состояния реальной камеры. 

— Я так понимаю, что похожим образом снимался "Дом дракона".

— Это из последних. В нашей сфере все любят приводить в пример сериал "Мандалорец", который был полностью снят с помощью виртуального производства.

У нас пока заказчики поскромнее — оказываем услуги подрядчикам каналов НТВ, ТНТ, различный контент корпоративный, телесериалы. 

— Есть проект, которым вы больше всего гордитесь? 

— Сложно сказать… Например, спортивное мероприятие в Казани "Фиджитал Игры" (фиджитал-игры — микс цифрового и физического спорта. Например, сначала команда играет в симулятор хоккея, а затем выходит на реальное хоккейное поле с сохранением счета из игры, — прим. ТАСС).

— Трудно было вначале продавать виртуальную студию?

— Не очень, наш партнер из индустрии Сергей здорово помог. Он знает потребности и рынок.

Трудно было с другим проектом, с Locomotion Sensor. Это инерциальная система трекинга, позволяющая с высокой точностью и частотой отслеживать ориентацию объектов в пространстве. Она используется, когда нужно, например, человеческие движения записать, а потом перенести их на модель персонажа в игре или на трансляции. У Locomotion Sensor очень маленький рынок. Потребность всей России — десяток комплектов в год в лучшем случае. 

С "Камикс" полегче — индустрия видеопроизводства в России большая. Кстати, "Камикс" возник благодаря большому приобретенному опыту в проекте Locomotion Sensor. Мы на одном из проектов ТНТ продавали его, там сработались как раз с Сергеем, а он сказал, что есть потребность в трекинге камер для виртуальных студий. Мы за год сделали первый прототип и быстро опробовали на реальном проекте.

— Собираете вы все в России, насколько я знаю.

— Да, так быстрее, а значит, дешевле. Если вдруг нам понадобится 100 тыс. комплектов — можно их сделать в Китае. Но пока наше производство вполне справляется с масштабами. У нас только комплектующие импортные; платы, монтаж, корпуса, сборка — в России.

— Деньги ваши были?

— Да, собственные средства. У нас все учредители — предприниматели, у каждого есть другие проекты. С них и финансировали.

Смотрели фонды, но в России сложно с живыми деньгами. Нам предлагали все, кроме денег: акселераторы и консалтинг. В России hardware-проектов — по пальцам двух рук пересчитать, какой консалтинг нам могут предложить? Российский рынок только зарождается. Чисто физически пока на нем не может быть какого-то опытного предпринимателя — времени мало прошло очень. 

Я думаю, что люди занимаются бизнесом ради созидания. Мы в тему hardware зашли так: в 2016-м собрались с учредителями, обсудили, что IT-проект вроде что-то приносит, надо серьезное что-то делать, что можно в руках подержать. Выбрали сферу — виртуальная реальность. Сначала хотели аттракцион полного погружения: человека подвешиваем, к концу аттракциона он приезжает мокрый от переживаний. Я смотрел диснеевские аттракционы — у них все четко: на каждого клиента пять минут, все контролируется строго. Мы начали смотреть технологии для аттракционов, и для одного этапа нам надо было трекать движения людей. Существующие решения были очень дорогие, мы решили сделать свое. 

— И как ощущения за семь лет?

— Если говорить про рынок виртуальной реальности, то много крупных игроков не верят в виртуальную реальность. Топовые студии, которые игры делают, не верят в виртуальную реальность, потому что пока нет стоящего оборудования. Производители оборудования не верят в виртуальную реальность, потому что недостаточно контента для нее.

Цукерберг вкинул денег, сделал хорошие шлемы, но у него нет топовых студий для производства контента. Они что-то купили из топовых игрушек, но это маленькие проекты. Плюс непонятно, какая механика должна быть для массового потребления виртуальной реальности. Я в свое время считал, что виртуальная реальность поможет оздоровить население. Игроки в виртуальной реальности будут гораздо спортивнее, чем нынешние геймеры, полненькие такие, сидящие на креслах, а в итоге виртуальная реальность — тот же пухленький паренек в шлеме и все равно на кресле. 

По факту должно все выглядеть как у Спилберга в "Первому игроку приготовиться": тактильный костюм и всенаправленная платформа. Все эти компоненты сейчас существуют, но их нет в одном комплексе. Есть всенаправленные дорожки, есть тактильный костюм — TeslaSuit. Но TeslaSuit двинулись в итоге от VR в спортивную медицину, потому что там денег больше. 

Если про рынок виртуальных студий говорить — виртуальное производство будет гораздо доступнее. Сейчас это дорого: видеостены, сервера для рендера... Мы как раз сервер недавно покупали — стоил $5 тыс., и это еще не самый мощный. Видеостены стоят от $5 тыс. за квадратный метр за не самые хорошие экраны. За хорошие — $10–20 тыс. за квадратный метр. Помните, раньше телевизоры LCD были дорогими, а сейчас стоят копейки — 15–20 тыс. рублей. Также видеостены станут доступнее.

Сейчас есть эконом-вариант — зеленый фон. Человека или объект с него технологии уже достаточно качественно вырезают, иногда можно даже и без зеленого фона обойтись. Правда, трекинг камеры все равно понадобится, может быть, он будет более встроенный в сами камеры, и это будет неким стандартом. Есть момент с калибровкой — когда мы стыкуем виртуальную реальность с реальностью, чтобы две картинки сходились. Технологии тоже будут совершенствоваться.

На телефоне, кстати, уже сейчас можно снять виртуальную студию — есть приложения, которые позволяют подключить iPhone к движку, получить трек-дату и сделать видео. Не надо строить павильон миллионов за шесть, можно снять быстрый пилот, используя много уже нарисованных студий. Появились даже маркетплейсы с 3D-сценами, и они очень быстро развиваются. Можно все снять в рамках одной смены, и стоимость уже не кусается. 

— В чем кайф виртуального производства?

— Любую задумку можно реализовать. Например, над нами в виртуальной реальности висит люстра. На самом деле это физический трекер. Я могу снять трекер и передать вам. Теперь в виртуальной студии вы держите эту люстру. 

— Да! Давайте обратно повесим. 

— Да. 

Кроме кино и сериалов, виртуальное производство можно применять в различных трансляциях: люди находятся в разных точках мира, и можно их соединить в одной виртуальной студии. Если герой интервью в другой стране, то можно позвать его в виртуальную студию и спокойно какую-то беседу вести.

— Почему вам интересно этим заниматься?

— Сложно уже сказать, интересно ли мне этим заниматься... Просто hardware делать труднее гораздо, а любой предприниматель стремится сделать какой-то новый бизнес, чтобы собрать первые сливки. Hardware сложно разрабатывать, минимум два года нас надо догонять кому-то, если сейчас он запустится, — то есть задел по времени есть.

Плюс меня всегда интересовал контент, и я понимал, что производство контента будет маржинальным в любом случае. Топовые блогеры уже начинают подтягивать к себе профессиональное производство видеоконтента, сами телеканалы начинают заходить в социальные сети со своим качественным контентом... 

— И блогеры могут приходить к вам.

— Да. Я думаю, что в этом году мы уже первого клиента такого приобретем.

—Вам 42. Как вы думаете, еще через 42 года чем вы будете заниматься?

— По-любому буду заниматься каким-то бизнесом. Я не могу дома сидеть больше двух дней, потому что я люблю активничать. Созидание — как раз такая форма активности. Мне неинтересно ничего не делать. Я даже сейчас себя часто ловлю на мысли, что пытаюсь себя остановить от каких-то новых начинаний.

— В плане?

— Нынешнее время такое... Тяжеловатое. Если что-то начинаешь, ты должен видеть будущее, а сейчас это будущее в тумане. Идут тектонические сдвиги экономики, в которых что-то начинать — такая русская рулетка. 

— Представьте, что вы зовете на ужин трех людей, живых или мертвых. С кем бы вы поужинали?

— Илон Маск. Джобс. Королев.

— Как-то все с космосом связано.

— Я в Россию в свое время приехал из Белоруссии из-за космоса. Нравилось, что здесь есть собственный космос. 

Сергей Сочнев

— Какой был самый сложный проект?

— Наверное, "Большая перемена" в прошлом году с компанией LiveSignal. Музыкальное шоу выходило на платформе ВКонтакте. Десять программ. Мы собрали проект меньше чем за две недели с применением технологии XR — когда задником служит не хромакей, а LED-стены светодиодные. Плюс мы использовали свою калибровку, которая позволила достроить все пространство вокруг экрана без видимой линии стыка. После него как раз мы получили сарафанное радио, проект показал рынку, что российскому производителю можно доверять, что наша система работает.

Кайф "Камикс" в скорости, в точности, в цене. Все похожие решения сделаны под профессиональное оборудование. На Западе есть два направления. Первое — студии, которые покупают очень дорогие профессиональные камеры и профессиональные объективы, кран, телеги... А есть студии, которые пытаются малой кровью достичь результата, прикручивая трекеры к камере и как-то их калибруя самостоятельно с большими ошибками.

Российский рынок идет по более компромиссному варианту: люди покупают что-то одно — или профессиональную камеру, или систему трекинга. Мы хотели создать инструмент, понижающий порог входа как финансово, так и по техническим знаниям, который как раз позволяет комбинировать разные истории. 

Самое сложное — получить точную копию состояния камеры. Когда мы начинали, было ошибочное мнение, что идеальная точка схождения — точка схождения в матрице. На самом деле это не так. Точка может порой даже выходить за пределы объектива, в зависимости от положения камеры, зума, фокуса, положения диафрагмы... В среднем один незнакомый объектив калибруют два человека минут за 40: надо поворачивать камеру на разных состояниях зума фокуса и вводить данные. Дальше алгоритм все подстраивает. 

— Для вас в чем кайф этим заниматься?

— Постоянно сталкиваться с какой-то новой задачей, которую хочется решить.

У TDS’ов (компания TDS Virtual Production — прим. ТАСС) есть проект "Погода" на ТНТ. Стартовал быстро и в короткие сроки. Что мы придумали: создали студию, где можно записать трек-дату и записать зеленый фон. Дальше можно нажать кнопочку — и все перерендерится в нужный [файл] уже со всеми нужными данными, ракурсами и прочим. 

В реальности же как — взяли кривой план, где что-то за ухом торчит у человека, хочется сдвинуть, а возможности на постпродакшене внести корректировки уже нет. А у нас — есть. Бывает еще, что продюсер, посмотрев смонтированный вариант, говорит: "Нет, мне красный не нравится, перекрасьте всю сцену в голубой". Обычно для этого надо заново строить павильон. А у нас — нажать одну кнопку. Был даже случай, когда у артиста заканчивалось время и мы не успевали сделать изменения в сцене, которые заложены по сценарному плану, — ему бежать пора, нет времени ждать, пока фон переставят. В итоге он текст наговорил, мы потом спокойно сели и перерендерили задний фон. Заказчик доволен, мы тоже счастливы. 

— Больше возможностей, получается.

— Да, границы становятся шире. Но, к сожалению, творцов мало. Боятся придумывать либо творят так, что технология не может пока реализовать задумки. Должен быть творческий полет фантазии.

Допустим, есть кейс компании WelcomePoint на российском рынке. Они много сняли рекламы для российского ТВ, используя собственный павильон с задником из экранов. При этом пол под каждую сцену они делали настоящий: песок сыпали и прочее... Получался крутой симбиоз, когда настоящее и виртуальное совмещается и получается лучше. Мне бы такого качества хотелось.

— Какие минусы у технологии, кстати?

— Пока недостижим полный фотореализм. Из-за бюджета, прежде всего. Каждое дерево прорисовывать не будешь же. Плюс много технических ограничений. Допустим, только с приходом 5.1 движка Unreal появилась возможность создавать полноценную дымку. На улице у нас же нет ясности. Раньше в уличных сценах было неестественно четко все видно.

Был случай, когда создали для пяти номеров концерта контент. Режиссер сразу понимал, что не получит фотореализм, и специально сыграл в абстракцию, поставив номера с учетом слабых сторон технологии.

Очень сложно получить тени — нужно дополнительно оборудовать площадку покрытием, другой свет использовать, делать более тонкую настройку. А на фотостенах тени в принципе недостижимы — свет диодов перебивает любую тень.

— Самый необычный проект?

— В прошлом году в Самаре. Ребята написали свое техническое решение, в котором они смогли поместить виртуальный фон за настоящую декорацию — стадион. На действии срезали крышу у стадиона, открывая космос, в котором летали спутники, восходило солнце, застилали туманом весь партер...

С нами можно оказаться в любом месте на этой планете и за ее пределами.