Что такое motion capture
Как работает Motion Capture: эволюция и закулисье
В первой части материала мы вместе со специалистами разбираем современное состояние одной из важнейших технологий в индустрии развлечений и специфику работы с ней.
Появление Киану Ривза на презентации Cyberpunk 2077 вызвало фурор, а касту и режиссуре Death Stranding позавидует любой блокбастер. Работа с Motion Capture давно стала для популярных актёров такой же обыденностью, как грим и костюмы. В кино Энди Сёркис и его коллеги давно отстаивают своё право на конкуренцию с другими актёрами за «Оскар», а звёзды Голливуда всё чаще участвуют в создании игр.
В недавнем видео мы уже рассказывали о зарождении технологии захвата движения и о том, как она устроена. В рунете также полно материалов об истории создания мокапа и его лучших воплощениях в кино. Но что стоит за костюмами для захвата движения и как широко может применяться технология? Попробуем разобраться в тонкостях работы с мокапом вместе с экспертами из индустрии: мокап-аниматором Сергеем Лобанковым, руководителем студии Watt Сергеем Томским и специалистом компании Mocap Tech Иваном Кириенко. Первая часть двухсерийного материала посвящена эволюции технологии и специфике работы с ней.
Историю мокапа часто ведут с возникновения ротоскопа в начала прошлого века с его применением в диснеевских мультфильмах. А в качестве важных современных вех приводят рождение термина Performance Capture — с полноценной игрой и режиссурой виртуального пространства в реальном времени, как в «Аватаре» или трилогии «Планета обезьян».
По мере развития инструментарий технологии только расширяется. Дебютное появление мокапа в кино случилось в сцене «Вспомнить всё» — это была анимация скелета, которую «оживила» игра Арнольда Шварценеггера.
В «Парке Юрского периода» с помощью захвата движения актёров и специальных фигурок доводили до идеала поведение динозавров. В «Мумии» и первом эпизоде «Звёздных войн» мир увидел CGI-персонажей, которые полноценно взаимодействовали с актёрами и окружением. До нового уровня, который до сих пор служит образцом, это довела команда «Властелина колец» — работа над созданием Голлума сделал актёра Энди Сёркиса настоящим королём мокапа.
Помимо захвата актёрских движений и совершенствования мимики мокап применялся и довольно функционально: например, чтобы размножить массовку. Впервые с помощью мокапа скопировали персонажа Вэла Килмера в «Бэтмен навсегда», а затем трюк с Ctrl+C — Ctrl+V в большем масштабе повторили в «Титанике» и «Гладиаторе», где размножили до массовки небольшую группу людей.
Есть несколько важных вех в истории развития мокапа в кино — от первого популярного реалистичного мультфильма Final Fantasy до противоречивого омоложения культовых актёров в «Ирландце». Спектр использования технологии сегодня настолько широк, что часто её применяют как вспомогательный инструмент для создания графики.
«Основное применение мокапа — это запись движения актёра для анимации персонажей. Довольно часто записывают животных, лошадей и собак. Иногда мокап данные используют как референс для дальнейшей ручной анимации персонажей, например для «Притяжения» мы снимали движения акробата, которые стали некой основой для движения пришельца. Основное преимущество мокапа заключается в том, что аниматор сразу получает правильный вес и тайминг персонажа. Реалистичные движения чаще всего не такие плавные и точные, как в мультфильме, и как раз эту погрешность, жизненность, довольно сложно бывает анимировать руками».
История эволюции технологии в играх даже богаче, чем в кино. Ещё в 1989-м году создатель «Принца Персии» Джордан Мехнер создал фундамет для будущей технологии. Молодой разработчик снял несколько часов видео, где его младший брат бегал, прыгал, подтягивался и фехтовал, а затем с помощью ротоскопирования перенёс движения на игровую анимацию.
Следующий большой шаг в сторону мокапа — оцифровка изображения. Яркий пример — серия Mortal Kombat, для создания которой снимали реальных бойцов и актёров на фоне хромакея, после чего полученные кадры оцифровывали. Система и принцип работы актёров с тех времён остались примерно теми же — монотонный длительный процесс записи однообразных движений, во время которого нельзя выходить из образа. Авторы Mortal Kombat позже даже ввели шуточного секретного персонажа под названием Мокап, который выглядит как обычный актёр в костюме для захвата движений.
Впервые же именно технология захвата движения была использована тоже в файтингах и по тому же принципу — в играх Rise of Robots, Soul Edge и Virtua Fighter 2, которые использовали CGI-спрайты вместо классического пиксель-арта и отличались 3D-анимацией.
Первой, кто сделал всю игровую анимацию полностью на основе технологии Motion Capture, стала студия Quantic Dream, выпустившая в 2005-м году Fahrenheit. Вместе с этим родилось целое направление кинематографичных игр, кульминацией которых является недавняя Death Stranding.
Важным прорывом как для игр, так и для мокапа в целом стало изобретение системы MotionScan во время разработки L.A. Noire. Один из важных элементов игры — это умение распознать ложь по мимике персонажей. Поэтому перед разработчиками встала непростая задача максимально точно передать движения лицевых мышц актёров. На создание прорывной технологии понадобилось семь лет — зато с тех пор актёрам не требуется носить маркеры на лице, ведь всю мимику одновременно сканируют 32 камеры.
Современные движки, вроде Unreal Engine 4 упрощают и ускоряют работу над мокапом, потому что помогают в предвизуализации и позволяют сразу увидеть всю сцену. Сегодня работать с мокапом стало значительно проще, чем десять лет назад — актёры могут видеть свои 3D-аватары и окружение прямо на площадке.
С развитием технологий и графики, как в играх, так и в кино, всё чаще вместо Motion Capture употребляют сочетание Performance Capture. Таким образом подчёркивают заслуги актёров — как тех, что отвечает за движения персонажей, так и знаменитостей, дарящих компьютерным моделям лица и голоса. Сотрудничество с десятками или даже сотнями актёров давно стало неотъемлемой частью производства, а для Киану Ривза или Мадса Миккельсена участвовать в разработке игры сегодня так же захватывающе, как и сниматься в блокбастере.
«За последние 10 лет активное развитие получили инерционные костюмы, типа Xsens и Rokoko. В маркерном мокапе сильно улучшился софт, алгоритмы солвинга стали умнее. Solving — этап создания скелета актера (или животного), когда система распознает какой маркер должен двигать какую кость, и, в случае потери маркера из вида, автоматически достраивает движение. Мокап теперь можно писать сразу в игровых движках, активно развивается направление виртуального производства — где мокап используется для захвата движения камеры на съемочной площадке. Технологии мокапа начали появлятся в телефонах, Arkit позволяет трекать как положение смартфона в пространстве, так и лицо и тело человека. Стоит отметить, что стоимость оборудования стала существенно меньше».
Основная тенденция в развитии мокапа — упрощение технологии производства и предоставление актёрам большей свободы. Сегодня инструменты позволяют снимать в большом спектре даже естественных локаций (в том числе под водой) и почти не сковывать себя в движениях. Один из самых доступных и удобных сегодня вариантов — это инерционные системы захвата движений, как, например, Xsens MVN Animate. Благодаря датчикам, расположенным в костюмах, она позволяет работать в неограниченной по площади рабочей зоне.
«Наша команда более 10 лет занимается поиском классного и инновационного оборудования по всему миру и помогает применить его российским клиентам в различных сферах деятельности. Несколько лет назад мы наткнулись на систему Xsens в качестве инструмента для анализа биомеханики человека (в основном в спортивной науке и реабилитации). С тех пор, мы успешно сотрудничаем с Xsens во всех направлениях использования системы — спортивная наука и медицина, эргономика на производстве и 3D-анимация персонажей.
Самой главной особенностью систем мокапа от Xsens является мобильность без потери качества. Систему можно развернуть там, где оптические системы установить просто невозможно или же крайне затратно с точки зрения финансов. Например: внутри автомобиля (технически невозможно), в аэротрубе (технически невозможно), в помещениях на несколько этажей/с высокими потолками/с разным количеством комнат или других помещений (требуется большое количество дорогостоящих камер).
Кроме мобильности, важен и ещё один аспект — качество анимации остается на достаточно высоком уровне, и не требует долгой чистки. Тем самым достигается идеальный баланс трех факторов — мобильность (удобство использования)/качество анимации/цена. На выходе получаем высокую эффективность. Использование систем Xsens экономит время и деньги наших клиентов, а, как мы знаем, для индустрии gamedev’а это особенно важные ресурсы».
Студии часто публикуют различные видео и репортажи со съёмок, показывая, как выглядит работа с мокапом изнутри. Но это не более чем иллюзия и грамотная маркетинговая стратегия. Реалии производственного процесса раскрываются нечасто, а подробно о процессе создания мокапа для популярных игр или фильмов почти никогда не рассказывают.
Известно, что это трудоёмкий и специфический процесс, где намного больше рутины и чисто функциональных задач, чем магии. Даже при быстром развитии технологий сегодня мокап несовершенен и создаёт множество неудобств во время работы.
«Основная трудность — потеря данных, когда камеры не видят маркер. Поэтому приходится изобретать декорации из сетки, ставить камеры по кругу, ограничивать количество актеров и прочее. Следующая трудность заключается в корректной передаче данных на персонажа. Мы стараемся понять, как двигаются кости актёра, но маркер прилеплен к костюму, который находится поверх мышц или жира, и только где-то под нимикость. В итоге мы изначально имеем погрешность данных.
Далее нужно это передать на персонажа, который чаще всего не совпадает по пропорциям, а даже если совпадает, человеческий скелет движется сложнее, чем 3D-шный. Особо сильно это заметно в плечах и позвоночнике. Ну и пальцы. Все хотят снимать классные пальцы рук, но пока это очень сложно технологически. Инерционные перчатки не дают точности результата, а маркеры постоянно пропадают».
Это лишь часть трудностей и непростых задач, с которыми сталкиваются мокап-аниматоры сегодня. Мы видим, как правило, только перфоманс актёров и конечный результат, но не очень понимаем, что именно происходит на этапе непосредственного использования технологии Motion Capture. Чтобы закрыть этот пробел, мы попросили одного из главных специалистов по мокапу в России Сергея Лобанкова рассказать о производственном процессе и его особенностях в нашей стране.
«Площадка, камеры, маркеры, реквизит— это всё инструменты. Но на инструменте надо уметь грамотно работать. Важно так снять и получить такой материал, который потом не приходилось бы долго обрабатывать. А именно: а) получить качественный материал мокап-данных (без шума, без «дрыжков», без выкручивания скелета модели ); б) правильно и выразительно отыграть действия. На эти две составляющие и разделяется процесс производства мокапа.
Надо разбираться в процессе правильного размещения камер на площадке. Задача мокапа — захватить движения, то есть получить отражённый сигнал от маркера. Поэтому камеры надо расставить так, чтобы получить хорошую зону захвата. Луч, исходящий от камеры, начинается с точки, а потом рассеивается — значит, между лучами будут зазоры. И надо расположить камеры так, чтобы этих зазоров (мёртвых зон) было как можно меньше. Существует много тонкостей в расположении и настройке камер, их надо понимать.
В процессе производства всё важно: от расположения камер на площадке до верно выбранного положения актёров для лучшего захвата движения. И, конечно, необходим опыт и понимание, каким образом замокапить то или иное действие, которое совершает персонаж в кадре. Существует много хитростей и приёмов, которые мы используем во время съёмок. Например, мы недавно снимали сцены для заставок Первого канала — анимацию с белками. Их показывают обычно по ТВ в новогодние праздники. Была задача: сделать так, чтобы белки ползали и прыгали по стеллажам. Причём заказчикам хотелось, чтобы белки подтягивались и именно ползали по вертикали. Понятно, что сделать это непросто — мы же не можем строить огромные стеллажи и по ним ползать вертикально как белки. Мы использовали хитрость: актёр полз по полу, перебирая руками и ногами как белка лапами. А мы уже потом поставили отыгранного персонажа вертикально. В кадре убедительно смотрелось, что белка ползёт по стеллажу.
Это не то же самое, что показывают в ролике со съёмок, где Бенедикт Камбербэтч играет дракона. Он тело дракона не отыгрывал. Если смотреть не на него, а обратить внимание на экраны, которые расположены на площадке, то видно, что никакого дракона там нет, а просто трёхмерная модель человечка, который делает всё то же самое, что Камбербэтч. К движению дракона это не имеет никакого отношения — у дракона совсем другое строение скелета и другая механика передвижения. Бенедикту честь и хвала — он пробовал поймать органику и характер этого существа, чтобы определить и подобрать верное поведение, что помогло ему во время озвучки этого дракона. Ну, и, на мой взгляд, это некий маркетинговый ход, чтобы все говорили о том, что Камбербэтч сыграл дракона. На самом деле, всё анимировали руками. Но ход, по-моему, сработал, если это до сих пор упоминают.
Если говорить о том, как и сколько всё делается мокапом у нас, то индустрией это пока рано называть — слишком мал спрос и толком нет специалистов. В России с мокапом мы начали работать первыми, было это в далёком 1997-м году. Тогда ещё использовалась электромагнитная система — на ней работать сложнее, чем на оптике. Там не те возможности, но трудности закалили нас. Поработав на ней 15 лет, я получил колоссальный опыт. Тогда мы и открыли для себя различные съёмочные приёмы и очень многому научились.
В том 1997-м году мы участвовали в создании телепередачи для ОРТ (тогда так назывался Первый канал) «Чердачок Фруттис». Это был первый опыт оживления цифровых персонажей с помощью мокапа. В кадре с живыми людьми общались виртуальные герои мультфильмов Александра Татарского Шеф и Коллега. В передаче в качестве гостей участвовали звёзды и медийные персоны. А мокап использовали, потому что делать анимацию надо было быстро. Выработка одного среднего аниматора даже сегодня, если я не ошибаюсь, три секунды в неделю. А нам нужно было в конце недели выдавать в эфир 23 минуты. Плюс не надо забывать, что в то время не только аниматоров, но и моделеров и других специалистов CG сильно не хватало. А позже, когда мы выпускали передачу «Тушите свет» с Хрюном и Степаном, нужно было выдавать 15 минут в ежедневный эфир. Руками это было сделать невозможно, поэтому и была приобретена мокап-установка. Эта технология во многом для того и существует — чтобы ускорить производство больших объёмов анимации.
До съёмок тоже проводится подготовительная работа. Сначала идёт разбор с режиссёром, что и как мы будем снимать. Иногда в ходе обсуждения выясняется, что какие-то задачи выполнить невозможно — увы, мы не всесильны, не всё возможно сделать в мокапе. Если таких проблем нет, то мы дальше обсуждаем, сколько человек потребуется и какими силами можно снять сцену, ищем постановочное решение, находим подходящие приёмы. Так же и актёрам всё заранее объясняется, чтобы на площадке не было неожиданностей и каждый знал, что делать.
Дальше актёры на площадке выполняют поставленные творческие и технические задачи. Есть аниматики и лэйауты, по которым отыгрываются сцены. Первая попытка — это обычно как репетиция: отыграли, посмотрели анимированную сцену, увидели какие-то недостатки, переиграли заново с их учётом. В этом как раз преимущество работы с мокапом. Можно сразу увидеть отыгранный дубль.
Иногда придумываются приёмы прямо на площадке, за счёт которых можно сыграть специфичные вещи. При создании анимационного фильма «Необыкновенное путешествие Серафимы» нужно было сделать сцену, где женщина держит пятилетнюю девочку на руках, а потом приходят чекисты и их разъединяют. Что в такой ситуации делать? Маркировать женщину и пятилетнюю девочку? Но где найти пятилетнюю девочку-актрису именно для мокапа? Но даже если мы замаркеруем девочку, то сидя на руках, будет перекрываться много маркеров и у неё, и у мамы. Значит «по правде» это сыграть нельзя.
Поэтому мы придумали один приём. Всё играли два взрослых человека. Мы стояли рядом на небольшом расстоянии друг от друга. Я играл за маму, а девушка актриса отыгрывала девочку. Я стоял в позе, держащей девочку на руках — это тоже не так просто, надо понимать всю физиологию. А девушка заняла позу как бы сидящей на руках девочки и обнимающей шею мамы. А мокап-оператор в кадре на компе это всё соединил и получилась нужная мизансцена мамы с девочкой на руках. Вот так мы вышли из положения. В сцене всё получилось убедительно.
При создании таких сцен надо понимать все тонкости форм и пластики. Плюс мы в таких сложных сценах каждый момент отслеживаем через мониторы, которые расположены по всему периметру площадки. Это очень помогает ориентироваться — подобную сцену невозможно сыграть, не видя что происходит в кадре. Есть очень много условностей, которые актёр должен учитывать, при этом не выходя из процесса игры.
Как правило, мы работаем не больше шести часов. Не из-за физической усталости, а из-за напряжения, связанного с концентрацией внимания. Ты должен всё время наблюдать в монитор, всегда держать игру, учитывать, что руками нельзя «протыкать» тело своего персонажа, ориентироваться в виртуальных локациях, реагировать на звук, под который играешь и так далее»
В продолжении материала мы подробнее расскажем об особенностях работы актёров мокапа и обсудим со специалистами будущее технологии.
Motion capture
Если согласиться с тем, что лень — двигатель прогресса, то самыми ленивыми среди разработчиков компьютерных игр окажутся аниматоры. Действительно, программисты продолжают набивать строки кода вручную. Графический планшет, главное техническое достижение художников, показывает чудеса только в руках талантливого мастера. Трехмерные лазерные сканеры и дигитайзеры не спасли моделлеров, и они вернулись к Maya, 3DS Max и прочим станкам по производству игрового контента.
Кругом победа непроизводительного ручного труда! И только аниматоры, кажется, добились с motion capture серьезного прорыва. Ну кто сегодня не слышал о том, как с живых актеров записывают движения для игровых персонажей? Мы пригласили поговорить на эту тему представителей известных зарубежных компаний, среди них:
— Ричард Хайнс (Richard Hince), Великобритания, технический директор студии Artem Digital (www.artem-digital.com), работавшей над кинофильмами «Александр», «Царство небесное», «Троя», «Гарри Поттер и Кубок огня» и множеством компьютерных игр.
— Золтан Годор (Zoltan Godor), Болгария, руководитель подразделения MoCap компании 3dbrigade.com — Nagual Pictures Ltd (www.3dBrigade.com). Эта студия наиболее известна роликами к Heroes of Might and Magic 5.
— Ева Остерман (Eva Osterman), Швеция, продюсер студии Gotland Interactive Park (www.gotlandinteractive.com). Помимо компьютерных игр, студия работает над научно-исследовательскими проектами в области биомеханики.
Клиента нужно правильно готовить
Motion capture со стороны выглядит довольно занятно. Вместо морфинга, кинематики и прочего колдовства специалисты снимают на видео движения живого актера, а затем подключают практически готовую анимацию к персонажам компьютерной игры. Во всяком случае, так все выглядит в теории.
[Игромания] Принято считать, что технология захвата движения понадобилась:
а) для упрощения труда аниматоров и сокращения времени на производство;
б) уменьшения общей стоимости разработок;
в) чтобы добиться реализма, недоступного традиционным методам анимации.
Почему же метод motion capture используется далеко не всеми и не везде?
«Клубничка» (кадр из игры Private Dancer) смотрится достовернее всего, когда анимация снята при помощи mocap.
[Ева] Скажем прямо, так думает большинство клиентов студий motion capture. Однако реальность отличается от рекламных буклетов. Сам процесс захвата движения действительно занимает мало времени. Обработка же данных и наложение текстур могут потребовать массу усилий. Если движения не слишком сложные и данные не нуждаются в тотальной зачистке, mocap (сокращение от motion capture) — хороший вариант.
[Ричард] Все верно. Однако ситуация намного сложнее. По некоторым причинам многие игровые компании предпочитают рисовать и делать анимацию вручную. Иногда это оправдано особенностями проекта. К примеру, если движения персонажей в игре изначально задуманы подчеркнуто нереалистичными, motion capture принесет скорее вред, чем пользу. Придется потратить много времени на доработку «захваченного» материала. Ну а самое главное, многие все еще считают mocap слишком дорогим способом анимации. На самом деле при правильном подходе mocap и быстрее, и дешевле.
[Золтан] Все зависит от подготовки клиента. Motion capture определенно уменьшает общую стоимость разработки, но только после определенного количества заказанных роликов. Их нужно делать много. Но даже в этом случае руководство компании должно заранее подготовиться, иначе потеряет больше, чем выиграет.
Что нужно сделать, прежде чем обращаться в студию:
— определиться с конкретными объектами для записи (допустим, два человека, вертолет, банка пепси-колы и так далее);
— обсудить технологический фон и требования к нему;
— сделать как можно больше описаний, набросков и видеозарисовок того, что необходимо получить;
— выбрать для съемок актеров, которые по всем статьям подходят на роль компьютерных персонажей;
— подготовить для каждой сцены звуковое оформление, чтобы сразу синхронизировать движение со звуком;
— в дальнейшем представителям компании необходимо контролировать каждый сеанс записи.
Если запись motion capture выполнена профессионалами, аниматоры смогут приступить к работе очень скоро. Никаких исправлений не потребуется. Причем все движения персонажей будут отличаться высокой степенью правдоподобия. Если бы то же самое делалось вручную, потребовалось бы гораздо больше времени и денег.
Тем не менее есть несколько причин, чтобы отказаться от захвата движения:
— реалистичность движений компьютерной игре не всегда нужна, а иногда не может быть достигнута с motion capture (например, для персонажей-негуманоидов);
— недостаточная профессиональная подготовка представителей игровой компании (много времени уйдет на различные согласования и обучение);
— захват некоторых движений стоит немало.
Если движения пишут неверно, то порой легче выбросить негодный материал и все переснять заново, чем пытаться поправить данные. То есть «дешевая» студия и непрофессиональная работа в конечном итоге могут обойтись в кругленькую сумму.
С одной стороны, motion capture существует не первый день, с другой — многие разработчики до сих пор считают технологию дорогой, нерентабельной. И это при том, что на самом деле для крупных проектов именно motion capture позволяет быстро и дешево сделать качественную анимацию. Но, конечно, только в том случае, если большая часть персонажей игры — гуманоиды. Для негуманоидов motion capture подходит далеко не всегда. Хотя бывали случаи, когда делали захват движения нескольких актеров, а затем просто составляли из них какого-нибудь многорукого, многоногого монстра. Но это скорее исключение из правила.
