Обработка 4D пайплайна
Захват 4D-перформанса - отличный источник данных, в которых движется каждый миллиметр кожи актера в каждый момент времени.
Различные методы захвата используют камеры глубины, инфракрасные или цветные камеры для достижения этой цели. Некоторые методы используют одну камеру (монокулярный захват), другие - несколько синхронизированных камер, захватывающих изображение актера с разных точек зрения.
В этой документации мы рассматриваем только метод видеограмметрии, когда выступление актера снимается с помощью нескольких синхронизированных камер, создающих набор последовательностей изображений для каждой камеры. Изображения для каждого кадра затем используются для реконструкции 3D-скана лица актера с помощью традиционного программного обеспечения для реконструкции фотограмметрии. Полученные последовательности 3D-сканов содержат много полезных данных, но они не могут быть использованы непосредственно в производстве, поскольку каждый скан имеет уникальную топологию и UV.
Следующим шагом должно стать преобразование последовательности 3D-сканов в последовательную топологию, которую можно использовать в производстве. Здесь и пригодится наш конвейер 4D-обработки, состоящий из 4 отдельных приложений:
Wrap4D
Wrap4D - это расширенная версия Wrap. Она содержит дополнительные ноды, разработанных специально для обработки 4D-последовательностей сканов. Wrap4D принимает на вход последовательность текстурированных 3D-сканов и создает на выходе последовательность сеток с согласованной топологией. Важно, что каждый кадр вычисляется независимо, что позволяет обрабатывать их параллельно. Для получения хороших результатов Wrap4D требует нанести на лицо актера разреженный набор маркеров (точек). Положения маркеров используются как инициализация для процесса врапинга и значительно повышают устойчивость при обработке экстремальных выражений лица. Wrap4D также использует информацию о контурах век и губ, которые дополнительно определяются в Track.
Wrap4D включает следующие ноды для 4D-обработки:
Track
Track - это программа для 2D-трекинга, которая выполняет две задачи:
Отслеживание маркеров на лице актера.
Определение контуров губ и век с помощью персонализированного детектора лица.
Node
Node - это безголовая версия Wrap4D с интерфейсом командной строки. Она может использоваться в сочетании с Rush для выполнения распределенных вычислений по сети.
Rush
Rush - это простой в использовании инструмент, позволяющий выполнять вычисления во Wrap4D на нескольких машинах по сети. Rush автоматически распределяет и управляет рабочей нагрузкой на нескольких экземплярах Node.