Трекинг:

Трекинг (от анг. tracking — отслеживание) — это процесс определения местоположения и ориентации движущегося объекта в виртуальной среде. Трекинг активно используется в кино-индустрии, при производстве телевизионной рекламы, трехмерных анимационных мультфильмов и трехмерных компьютерных игр.

Существует несколько типов трекинга:

1. 2D-трекинг (он же Pixel Tracking);
2. 3D-трекинг (как часть процесса Matchmoving-а);
3. 3D-трекинг (как часть процесса Motion Capture).

Каждый из типов трекинга может использоваться как сам по себе, так и быть частью более сложных процессов, использующихся в компьютерной графике. Нет так же и привязки какого-то одного типа трекинга к конкретному направлению в области компьютерной графики. Например, 3D-трекинг с успехом может применяться, как в кино-индустрии, так и при разработке трехмерных компьютерных игр, а 2D-трекинг нужен, как при производстве телевизионной рекламы, так и при производстве кинофильмов.

2D-трекинг

2D-трекинг или Pixel Tracking — это отслеживание движения конкретной точки (пикселя) на исходном видео ряде. В результате этого процесса получается траектория движения пикселя, соответствующего движению какого-то объекта в кадре. Причем, в зависимости от задачи можно отслеживать как одну точку, так и целую группу точек. В качестве отслеживаемой точки, обычно берут точку, цвет которой выделяется на фоне остальных точек. Это помогает трекеру (программе, выполняющей трекинг) не потерять эту точку в процессе отслеживания и правильно получить ее траекторию движения.

В основном данный тип трекинга применяется в композитинге и видео-монтаже в таких индустриях как производство кино и телевизионной рекламы.

Полученные траектории движения точек можно использовать для двух вещей:

• К ним можно привязывать другие объекты, которые будут в точности повторять движение «отслеженных» точек.
• С помощью этих траекторий можно стабилизировать видеоряд, который был снят «шатающейся» камерой.

В первом случае, трекинг помогает добавлять в видеоряд объекты, которые там первоначально отсутствовали и заставляет их двигаться так же, как и объекты (точки), которые «отслеживались». Например, актер в рекламе стирального порошка может размахивать обычной серой коробкой, а на этапе композитинга (пост-продакшена) вместо серой коробки мы можем показать нужную упаковку стирального порошка. Причем благодаря трекингу, она будет двигаться точно так же, как и снятая в павильоне серая коробка. В результате зритель не заметит подмены.

Внимательный читатель может задаться вопросом: «А для чего это нужно? Не проще ли дать актеру в руки настоящую коробку в момент съемки?». Ответ может быть таким: во-первых, на момент съемок, возможно, еще и не существует реальной коробки. Возможно заказчик ее еще не выпустил. А, во-вторых, если в будущем заказчик захочет заменить коробку, ему нужно будет только обратиться в пост-продакшен компанию и попросить сделать это, вместо того, что бы снова проводить съемки, арендовать технику. Это огромная экономия средств и времени.

Во втором случае, бывает необходимо стабилизировать изображение (видеоряд), который был снят камерой без штатива или крана. Очень часто при «ручной съемке» кадры могут дрожать и «шататься». Исправить это помогает трекинг.

Трекинг может выполняться в любом программной обеспечении, которое имеет соответствующие функции. Вот некоторые из программ, которые могут выполнять 2D трекинг: Adobe AfterEffects, Adobe Premiere, Apple Final Cut, The Foundry Nuke, Eyeon Fusion.

Пример 2D трекинга. Плоское изображение (слева) с помощью трекинга смогли поместить на видеоряд с монитором (справа).
Источник: http://www.fxguide.com/featured/art_of_tracking_part_1_history_of_tracking/

3D Трекинг и Matchmoving

Второй тип трекинга — это 3D-трекинг. Мы его рассмотрим как часть процесса под названием Matchmoving. Для начала нужно приоткрыть завесу тайны над тем, что же такое Matchmoving?

Матчмувинг (от анг. matchmoving — повторение движения) — это сложный процесс, который позволяет по имеющемуся видео-ряду создать трехмерную сцену с цифровой камерой, которая в точности повторяет движение реальной съемочной камеры. Без этого процесса очень трудно представить современное кино и рекламу, которые насыщены компьютерной графикой и визуальными эффектами.

В этом процессе 3D-трекингу отведена роль этапа, на котором по имеющемуся видеоряду отслеживают движения конкретных точек. Как правило их количество значительно превышает десятки и оно в разы больше количества точек, необходимых при обычном трекинге. В результате этого шага получается множество траекторий движения пикселей, соответствующих движению объектов в кадре. Тречить (отслеживать) надо объекты, которые в исходном видеоряде (в жизни) были неподвижны — декорации, статичный реквизит и т.п.

Следующий этап в Матчмувинге — это Настройка (Setup) — процесс установления логических взаимосвязей между отслеженными (протреченными) точками. Например, какие-то точки лежат на одной прямой или на одной плоскости. В результате этого шага программа сможет установить соответствие между точкой (пикселом) в плоском видеоряде и точкой в виртуальном (трехмерном) пространстве.

И заключительный этап — Солвинг и финальная настройка (Solving & Fine-Tuning). На этом этапе программа производит вычисления и устанавливает для точек из предыдущего шага приблизительное местоположение. Исходя из местоположения точек в пространстве, высчитывается траектория движения самой камеры. В процессе настройки пользователь вводит дополнительные данные, помогающие программе определить не только траекторию движения камеры, но и ориентацию, и масштаб этой траектории в пространстве. Программе ведь не известно, отъехала ли камера на 5 метров или 2 километра, или же отъезжала она вверх или горизонтально. «Привязывая» отслеженные точки к конкретным позициям в пространстве, пользователь однозначно задает масштаб и ориентацию камеры. Обычно части 2 и 3 повторяются до тех пор, пока результат не станет удовлетворительным.

Лидерами на рынке программного обеспечения, используемого для матчмувинга, считаются такие пакеты как: PFTrack, SynthEyes, Boujou, 3dequalizer.

Пример Матчмувинга объекта в ПО PFTrack.
Источник: http://www.vizworld.com/2010/07/pixel-farm-releases-pfmatchit/

3D-трекинг и Motion Capture

Motion Capture (с анг. — захват движения) — это технология, предназначенная для определения позиции и ориентации реального объекта (например, руки, головы или специального устройства) в виртуальной среде. Определение позиции и ориентации реального объекта в пространстве осуществляется при помощи специальных датчиков и маркеров. Для отслеживания изменений при движении этих маркеров и используется 3D-трекинг.

Задачей 3D-трекинга в процессе Motion Capture является поиск маркеров, расположенных на актере или объекте, с которым взаимодействует актер, и дальнейшее отслеживание того, как движутся эти маркеры в пространстве. Полученные после такого отслеживания данные, используются специальным программным обеспечением для того, что бы в виртуальной (трехмерной) среде воссоздать движение актера или объекта.

Главное отличие этого типа трекинга от предыдущего заключается в том, что этот тип трекинга происходит в реальном режиме времени и используется в основном для получения анимации движения актера или объекта. Позже эту анимацию может использовать аниматор для того, чтобы заставить трехмерную модель двигаться точно так же, как это делал реальный актер.

Существует несколько способов создания трехмерной анимации при использовании технологии Motion Capture, но все они сводятся к одному процессу:

1. В специализированной студии по захвату движения подготавливается место для съемок (бывает нужно, чтобы актер взаимодействовал с реальными предметами).
2. На актера или актеров (система захвата движения может одновременно обрабатывать данные движения множества актеров) надеваются специальные костюмы с датчиками (маркерами).
3. Очень часто, если нужно получить информацию о движении лицевых мышц актера, на лице актера рисуются или клеятся маленькие датчики для фиксирования движения основных групп лицевых мышц.
4. Актер выполняет необходимые движения.
5. Движения актера фиксируются специальными камерами (обычные камеры для съемки видео не используются). Если используется захват движения мышц лица, то на актера заранее надевают шлем с дополнительной камерой, которая и фиксирует движения лицевых маркеров.
6. Данные движения в реальном времени передаются в специализированные программы, которые эти данные могут преображать в трехмерные сцены и строить в них системы костей (виртуальное подобие костей человеческого скелета), которые и используются в последствии аниматорами для создания анимаций трехмерных персонажей.

Пример работы актеров в студии захвата движения.
Источник: http://www.render.ru/books/show_book.php?book_id=704

Итак, процесс захвата движения нужен для получения анимации движения. А вот где эта анимация в дальнейшем будет использована уже зависит от конкретной задачи. Современные трехмерные компьютерные игры практически не обходятся без создания анимации методом захвата движения. Так же и многие кино-проекты используют motion capture для ускорения работы над фильмом. А многие анимационные кино-проекты, полностью построены на системе захвата движения. Без нее они вообще не были бы созданы.

Пример захвата лицевой анимации. Движения и мимика актера Энди Серкиса был основой анимации главного персонажа Цезаря из фильма «Восстание планеты обезьян».
Источник: https://charthree.wordpress.com/2012/02/12/movie-article-motion-capture/

Процесс трекинга, во всех своих проявлениях, сейчас является неотъемлемой частью производства проектов, в которых используется компьютерная графика. С его помощью современные кинофильмы, анимационные фильмы, компьютерные игры и телевизионная реклама стали более зрелищными и интересными.