法国Dark Matters的一座大型虚拟影棚

图源：Shutterstock

到现在为止，你一定已经听说过虚拟制作，它在现代影视制作的存在感越来越高。这是一套颠覆性的技术，它将前期制作、主体摄影和后期制作过程结合在一起——模糊了数字和实体之间的界限。

所以，了解了这一点之后，我们来了解一下虚拟制作的工作流；什么是虚拟制作工作流，其步骤是什么，它如何惠及电影制作者和视频制作专业人士？欲知更多，请看下文。

目录

• 虚拟制作是什么？
• 虚拟制作工作流是什么？
• 虚拟制作的工具与软件
• 虚拟制作的优势
• 虚拟制作的挑战
• 对更优秀的虚拟制作的建议

什么是虚拟制作？

虚拟制作利用3D渲染技术（通常是以虚幻引擎等游戏引擎为形式）来构建显示在大型LED屏上的相片级真实布景。虚拟布景能实时调整布景，匹配不同的拍摄角度和运镜的视角，同时摄影机捕捉演员在屏幕前的表演。

虚拟制作 vs. 传统制作

“传统”制作有点像一条流水线；这个过程让每个个体和部门以线性的工作日程参与其中。由于时间紧迫，迭代或补拍场景非常耗时，耗资也尤其高。电影制作者在拍摄这些场景时通常并不清楚这些场景最终会是什么样子。

虚拟制作则不同。这是一种非线性、更具协作性和迭代性的视频制作方式。它结合了计算机辅助制作和实时可视化工具，如游戏引擎技术、计算机生成图像（CGI）、虚拟现实以及增强现实，提供一种“实时创意反馈循环”。

这可以为制作团队节省时间，并在前期制作和拍摄阶段提供更加具有确定性的风格和感觉。

虚拟制作有几种不同的类型：

• 可视化：展示镜头意图的原型图像
• 表演捕捉：录制演员的或拍摄对象的动作
• 混合虚拟制作：使用摄影机跟踪技术和绿幕
• 实时LED墙，摄影机内虚拟制作

虚拟制作能提供几年前无法实现的视觉图像和效果。

许多虚拟制作影棚都恰如其分地被称为LED虚拟制作影棚——它们需要大量的操作空间。例如位于蒙特利尔的MELs Studios，这里坐落着高20英尺（约6米）、直径65英尺（约20米）的LED屏。

虚拟制作的核心是将实体世界与虚拟世界结合起来，为视频拍摄创造身临其境的布景。在这种情况下，实体世界由道具和演员组成，而虚拟世界则包含背景、虚拟布光以及视效。

自2018年《曼达洛人》（The Mandalorian）作为第一部大型虚拟制作项目登上头条以来，虚拟制作这些技术就变得极其受欢迎。目前，市面上的虚拟制作影棚已经超过300座（2019年只有3座）。

据调查公司Research and Markets估计，2022至2030年间，全球虚拟制作市场将以17.8%的复合年增长率（CAGR）增长。

然而，虚拟制作最具颠覆性的方面并不是LED虚拟制作影棚的存在、实时渲染或实时摄影机跟踪技术。相反，最颠覆的地方在于，视效在拍摄过程中，包括前期制作中，被应用于场景中；在于高质量视效和图像从项目一开始就被应用其中。

在拍摄开始时，拍摄内容或多或少已经是摄影机现成可拍的状态，可以随时迭代，为习惯于在质量上妥协、不得不使用视效占位符的电影制作者提供了更多的确定性和灵活度。

而视效和其他资产都以更加协作的方式被制作出来，而不是各自为政，这样能实现不同团队之间的交叉兼容。

的确，多亏了虚拟制作，“老一辈”的电影制作者的至理名言“在后期搞定”变成了“在前期搞定”。

虚拟制作工作流是什么？

虚拟制作工作流指的是将虚拟制作过程分解成多个可管理任务的一系列步骤。它由视频制作的三个阶段组成：前期制作阶段、拍摄阶段和后期制作阶段。

以下是虚拟制作工作流的示意图：

虚拟制作工作流的步骤包括（但不限于）：

• 世界捕捉（包括虚拟勘景、拍摄地扫描、数字化）
• 可视化
• 表演和动作捕捉
• Simulcam
• 摄影机内视效（ICVFX）

尽管每个项目都有细微区别，每个步骤在耗时方面都有所不同，但以下阶段通常能概括虚拟制作管线。

注意：尽管虚拟制作管线并不像传统制作一样是线性管线，且迭代可能发生在任何阶段，但传统项目阶段中的前期制作、拍摄与后期制作依然是相关的。

前期制作

虚拟制作中的前期制作与传统电影制作有着共同点，在这一阶段项目都要首先进行可视化以获取批准。

然而，前期制作阶段在虚拟制作环境中有着极其重要的作用，因为大多数视效（VFX）都在此阶段诞生并开始成形。

在前期制作和拍摄阶段添加和迭代ICVFX元素能推动项目实现真人和计算机生成内容更加紧密的结合，同时减少后期制作的耗时。

这在一个项目所花费的整体时间上会产生巨大区别。虚拟制作公司Lux Machina的创始人扎克·亚历山大（Zach Alexander）表示：“前期制作阶段的每一个小时都抵得上拍摄所花的两个小时。”

Pitchvis

在这一阶段，3D艺术家制作数字pitchvis来涵盖项目中的各种场景——这有点类似高科技分镜，但产出内容更像电影预告片。

虚拟制作中的Pitchvis依赖于游戏引擎技术。在游戏引擎平台中生成的高质量资产意味着它们可以在整个项目周期中用于其他用途。

虚拟美术部门（VAD）

在前期制作中，有两个新兴个人/团体也会发挥作用——虚拟制作总监和虚拟美术部门（VAD）。

• VAD设计、创建并管理项目所有的视觉图像，包括3D原型的制作和可以拍摄的道具和环境。他们还会决定哪些元素应该以虚拟形式出现，哪些应当是实物。通常来说，VAD一般与previs团队紧密合作，确保从想法到迭代的无缝转化。
• 虚拟制作总监是虚拟制作环境中的执行制片人。他们在决策吧台（管理虚拟拍摄中的技术方面的团队）、视效部门、VAD和实拍团队之间担任联络员的角色。

可视化

这一阶段包括创建资产，艺术家们会使用游戏引擎、3D建模软件（如Maya）、动作捕捉（mocap）或虚拟摄影机来制作项目中的虚拟世界的道具和角色的数字图像。

3D艺术家使用虚拟化快速原型（VRP）技术来快速创建/剪辑段落或摄影测量素材，根据图片打造栩栩如生的3D模型。模型会经过持续完善，确保在开拍时已经准备好。

可视化阶段还包括虚拟勘景，这会用到虚拟摄影机和数字道具，根据所提出的布景来创建数字拍摄地。

虚拟制作的前期制作阶段的其他元素还包括：

• Previs：和传统项目一样，previs阶段可以进行布光、拍摄角度、运镜和其他元素的实验。
  • 与传统项目不同，虚拟制作中的previs是一个高度合作的过程，涉及多个相关岗位，包括DP、导演和视频剪辑师。
  • 除此以外，由于图像质量和计算机性能的不断提升，在previs中设计的段落和镜头与成片的图像质量并没有太大差别。基于此以及其他原因，在虚拟制作工作流中，previs通常被称为“项目的开端”。
• Techvis：通过使用摄影机文件和其他信息来决定适当的摄影机镜头、机位以及通过动作捕捉来确定运镜方式，Techvis帮助视效艺术家等成员计划具体的镜头。这种计划能让导演以非常精确、且可完美重复的增量来控制运镜。
• Stuntvis：使用游戏物理系统来计划和测试要拍的实体特技，并精进武器开发、动作编排和其他布景设计元素上的细节。

拍摄（主体摄影）

和传统项目一样，拍摄阶段（也被称为主体摄影）是指摄影机开拍，电影/视频开始成形的阶段。

在虚拟制作中，这还是VAD创建的所有3D资产和虚拟世界被投在LED虚拟制作影棚上的阶段。在虚拟拍摄阶段，LED虚拟制作影棚环绕着演员和（有时用3D打印的）实体道具。

LED墙产生的环境光通常会替代前景舞台上的传统布光，而虚拟布光则被运用于虚拟世界中。

配备摄影机跟踪技术的实体摄影机与游戏引擎中的虚拟摄影机同步（这个步骤被称为Simulcam），让虚拟场景能配合实体摄影机完美移动。

由于虚拟制作中几乎所有的事物都是实时发生的，3D艺术家可以调整虚拟世界来改进布光、拍摄角度，甚至是完善数字资产。

尽管previs阶段中也会用到实时表演捕捉（或动作捕捉），但在拍摄阶段才会正式用上这项技术来捕捉演员的动作。Simultcam用于将穿着动作捕捉服的演员实时叠加在虚拟布景上，让虚拟场景能像实体场景一样接受指导。

在这一阶段有时也会用上绿幕。诚然，尽管最近的新闻报道中，LED虚拟制作影棚占据了大部分份额，但绿幕仍然在虚拟制作环境中用于实时合成，并对无法在摄影机内完成的镜头进行细微的弥补。

后期制作

虚拟制作中的后期制作花费的时间要远比传统制作的后期要少，因为大部分视效，甚至调色工作都已经在前期制作和拍摄阶段进行。

视效

然而，这并不意味着在杀青之后视效艺术家就无事可做了。就像在传统项目中一样，虚拟制作视频剪辑师通常会在场景添加占位符，而视效艺术家必须在后期（通过添加视效或3D模型来）清理它们并确定终版视效。

Postvis

可视化的最终形式——postvis在杀青后进行，融合真人素材与任何粗糙的视效。postvis能帮助后期视效团队给各个镜头计时和编排，协助剪辑团队结合所有元素——包括真人、previs和虚拟制作素材——打造最终剪辑版本。

虚拟制作工具和软件

虚拟制作的实现离不开先进技术支持，包括从端到端虚拟制作软件（如工业光魔StageCraft）到一次性工具。以下是一些虚拟制作人员用来制作我们已经习以为常的、令人惊叹的视觉图像的工具和软件。

LED墙

大多数项目都会租用一个虚拟影棚，它由互相锁定的LED面板所组成的LED墙构成。这些面板组合起来，变成一块很大的屏幕，由视频处理硬件和软件驱动。但你也可以从零开始搭建一个LED虚拟影棚，或者让众多虚拟制作供应商之一——例如MELs、Line 204、Nant Studios或Dark Bay——来为你定制一个专属于你的虚拟影棚。

游戏引擎

这些3D引擎打造能像电子游戏一样能探索和穿梭其中的虚拟布景和世界。使用最广泛的游戏引擎——虚幻引擎5——已经用于从《曼达洛人》（The Mandalorian）到《西部世界》（Westworld）的一些影视项目。用于虚拟制作的其他游戏引擎还有Unity、CryEngine和Godot。

强大的图形处理器（GPU）

若没有强大的GPU驱动，世界上最强大的游戏引擎在虚拟领域也毫无用武之地。你的计算机中的GPU越好，在大型LED虚拟影棚中能展示的画面细节就越丰富。建议虚拟制作使用Windows电脑，因为许多你会用到的插件（包括LED跟踪）都只能在Windows上使用。

3D捕捉和动画工具

RealityCapture等摄影测量工具使用AI，将照片或激光扫描用来创建3D模型，而Houdini等其他3D应用程序使得丰富的3D动画可以利用反射和粒子来打造效果。

3D资产库

自称是世界上最大的3D扫描库——Quixel Megascan Library的存在，意味着当你需要3D道具、纹理或环境时，无需浪费时间从头造起。

动作跟踪摄影机

精准的摄影机跟踪在虚拟制作环境中是必要的。常用的动作跟踪系统包括OptiTrack和StarTracker。

虚拟现实头戴式设备

虚拟现实头戴式设备在前期制作和虚拟勘景阶段是宝贵的工具。通过Somnium VR One和MeganeX等头戴式设备，摄制组成员可以一起探索3D环境并与之互动，从而计划镜头并开始筹备布景搭建。

2022年的一项调查显示，最常用的虚拟制作技术是动作捕捉，有超过一半的受访者表示他们在过去的12个月中都在使用这项技术。

虚拟制作的好处

虚拟制作有许多好处：其一，它在社交隔离的疫情时代真正“挺身而出”，帮助促进身处不同地方的团队成员的合作。

但虚拟制作还有许多其他好处（上文我们已经提到了一些）。以下是虚拟制作管线的几个主要好处：

1、省时省钱

• 借助虚拟现实头戴设备和其他技术的虚拟勘景能大幅减少差旅时间和成本。
• 在项目的早期就确定主要的创意决定意味着当演员在片场时，摄制组团队成员的准备更加充足，让拍摄更轻松。
• 比起召回演员进行耗资不菲的重拍，或花上数小时后期时间进行渲染，在拍摄时随时调整内容要简单得多。
• 虚拟制作能节省资产创建的成本，因为在项目早期创建的高保真度资产可以在整个制作周期中使用，无需用更高的分辨率重新创建。
• 虚拟制作还能降低资产管理和跟踪所需的花费和精力，这是因为游戏引擎通常都有非常强劲的内置资产跟踪系统。

2、环保意识

通过创建数字布景和道具，虚拟环境可以减少传统制作对生态造成的影响，因为实体布景和道具会产生浪费和污染问题。同时，这也能降低差旅时间和距离。例如，如果一个在洛杉矶的演员需要重拍在沙漠里的一个场景，相比起搭乘飞机或汽车到达取景地，开车前往洛杉矶的一间虚拟影棚要环保得多。

由于游戏引擎在设计时就考虑到了“多名玩家”的情况，因此，与身处不同地方的项目参与者实现远程或多用户合作成为了虚拟制作技术的天然属性。例如虚幻引擎，它用Perforce Helix Core技术来为可能有数百名参与者的项目提供版本控制。

3、更为完善的创意想法

在项目早期就开始创建视觉图像和计划镜头会带来更多迭代，并最终产出更好的视觉图像、环境和镜头。虚拟制作为进一步更完善的想法提供更多选择，因为实时引擎可以轻松迭代或自定义镜头和段落。

电影制作者还可以借助游戏引擎提供的实时物理系统，在符合现实世界的物理法则的沙盒中设计动作段落或运镜。

4、更优秀的自然布光

前文我们已经提到过LED屏布光的环境光的好处——众所周知，绿幕对其适合的布光状态极其挑剔，这意味着后期需要更多时间来调整效果和布光。

5、实时可视性

对于演职人员来说，在LED屏旁边进行动作表演能更好地构思出镜头的样子，对比在绿幕前表演，需要后期再加上背景和效果。

6、环境控制

在虚拟影棚拍摄时，片场工作人员对一天的时刻、光照、天气、交通以及其他可能产生影响的变量有完全的掌控。在虚拟环境中切换场景也更加轻松（也更快）。

7、更沉浸式的环境

借助扩展现实技术，为虚拟制作打造的虚拟环境可以当作360°环境来探索。

虚拟制作的挑战

当然，虚拟制作也并非坦途， 其自身也会遇到挑战。

1、准备工作的改变

对于习惯了“重头戏在后期”、不习惯在开拍前花费数小时提前计划和做准备的电影制作者来说，他们可能很难适应虚拟制作的“重头戏在前期”的工作流。

2、人才缺乏

由于技术复杂性，找到具备虚拟制作项目工作技能的从业人员也是具有挑战性的。TV Technology指出，一些相邻的行业，例如虚拟现实动画、建筑和自动化设计，由于行业技能要求的相似性，已经成为虚拟制作行业的人才库。

当然，还有行业的各种倡议，例如Epic Games的Unreal Fellowship，这是一项混合的学习体验，旨在向电影制作者传授虚拟制作的细节，在电影制作者和视频专业人士中传播虚拟制作技术和技巧。

对更优秀的虚拟制作的建议

和所有工作流一样，实行虚拟制作有正确的方式也有错误的。以下是当你开启你的下一个项目时应该铭记的几条建议和最佳经验。

1、投资优质图形硬件

如前所述，你要确保自己拥有性能强劲的GPU，例如配备了至少十个CPU核心和相当于NVIDIA GeForce RTX 3090的GPU的游戏电脑。推荐将更加强健的配置用于连接至LED面板视频处理器中的节点，如NVIDIA RTX A6000显卡搭配Quadro Sync设备。

2、缩小LED墙的规模，节省资金

你不一定要花掉所有的钱来租用一个配有包围式的天屏和侧壁的完整LED虚拟影棚。有时，一面墙的LED屏就已足够。但要注意，你使用的LED墙的类型会极大地影响发出的环境光量。从半球形圆顶，到半立方体，到带侧壁的墙，这些配置按顺序依次被视作是最佳的发光方式。

3、利用可编程布光

如果你没有足够的发出光，可以对多路数字传输（DMX）协议进行编程，将多色光转变为效果布光。片场工作人员可以利用游戏引擎中的DMX或光板对布光规格进行编程。

4、别忘记色彩

理解色彩科学，尤其是要考虑到你的特定摄影机和LED虚拟影棚，这对做出看起来最逼真的虚拟环境和资产来说至关重要。忽略比色法中的细节会导致你的成片中出现灾难性的视觉伪影。

一些常被问到的问题

虚拟制作和传统制作之间有什么区别？

虚拟制作与传统制作之间的主要区别是，在虚拟制作中，交互性背景和资产实时显示在大型LED虚拟影棚中（而非传统制作中的静态背景或绿幕）。同时，虚拟制作需要在前期制作阶段进行更多的工作和准备，以确保3D环境和资产准备好进行拍摄，这与传统制作依赖后期的方式不同。

考虑使用虚拟制作的关键因素有哪些？

虚拟制作对于需要人造环境的视效密集的项目尤其有帮助，对于那些预算有限，想要通过省去现场勘景和实地拍摄来节省时间和资金的项目也有帮助。

制片人应该如何安排虚拟制作中的预算？

虚拟制作能让制片人更加清晰地安排项目预算，这是因为虚拟制作可以更好地控制可能成本高昂的未知因素，例如天气或拍摄地可获取性。

实时表演捕捉如何应用于虚拟制作工作流中？

在虚拟制作工作流中，前期制作和拍摄阶段都会用到实时表演和动作捕捉技术。表演捕捉通常被用在前期制作中对环境和资产做可视化，并在主体摄影阶段中用于拍摄穿着动作捕捉服的演员。

出处：Ricky Cheung | MASV

翻译：Katja | 盖雅翻译小组