如今，电影制作和电子游戏之间的相似之处前所未有的多——在某些情况下，这甚至包括预算。但在许多方面，电子游戏往往占据上风。其不受现实世界的限制，可以展现实体布景非常难以企及的广阔、壮观的环境，即使在最最高端的电影制作中也是如此。

当然，解决方案是将物理世界和虚拟世界结合起来——早在1930年，电影制作者就已经在某种程度上使用背投技术这么做了，而更近的则是运用蓝幕和绿幕技术。

但这两种方法都不够理想。当你移动摄影机的时候，背投的错觉就失效了，而演员们会发现在除了一百平米的绿色布料之外什么都没有的情况下表演是很有挑战性的一件事。

此外，不仅仅是演员必须面对绿幕的局限性。摄影指导也生活在一个仍然主要被长达近一个世纪的传统所定义的世界里——一套由光化学胶片和镜头炫光、辉光组成的传统。在一个由简单粗暴的绿色涂料和布料构成的世界里，创造出备受期待的世界一流电影的风格是很困难的。

而在一套可对烟雾、毛发、透明度和反射等拍摄对象做出自然反应的真实世界背景中工作，事情就简单多了。这就是虚拟制作占优的地方，而且它在许多其他方面也一直占优。

技术

我们多数人已经知道，虚拟制作使用LED屏组成的墙来显示一种可移动的背景，以补偿摄影机的位置。这是一种非常了不起的几何技术，依赖于三种主要技术的互相结合，而这些技术原本是为完全不互相关联的不同应用程序开发的。如果你已经非常熟悉这些内容，你可以直接跳过这部分。但如果你没那么熟悉，下文会提供一份快速入门指南。

LED视频墙

最显眼的硬件是LED视频墙本身——在电影制作中，它们可能很巨大。比方说，多伦多的Pixomondo影棚宽208英尺（约合63米），高23英尺（约合7米）。如果你想建一处类似的影棚，并使用ROE Visual的BP2 LED块来搭建，会需要将近1800块LED块。由此你很容易看出LED屏会成为虚拟制作拍摄中最昂贵的一个环节。

虽然这些极其专业的面板与它们的前身产品没什么共同之处，但值得注意的是，它们并不是新事物，毕竟第一块LED屏1977年就出现了，但由于开发蓝光LED的困难，商业化LED彩色显示技术直到90年代末才成为可能。

运动跟踪

运动跟踪也变得十分为人所知，这要归功于幕后拍到的各种穿着覆满反光球的弹力衣到处跑的人。以胶片为基础的该领域著名先行者可以追溯到二十世纪早期。电子动作捕捉技术也可以追溯到二十世纪七十年代，尽管使用电子动作捕捉技术来探测摄影机运动，而不是摄影机的拍摄对象，可能并不是该领域先驱们的想法。

3D渲染硬件

虚拟制作中使用的图形渲染硬件，可以说是虚拟制作中三种技术中最现代的——尽管这些技术也可以追溯到七十年代。如今图形处理器（GPU）是我们最先进的微电子产品之一，但它们也是大众市场的商业设备。它们通常与游戏机中的芯片有关，有时直接是游戏电脑的一部分。

因此，想到虚拟制作技术已经以某种形式存在了一段时间了，而我们将虚拟制作和实体制作混合的愿望则已存在了更长时间，很明显，虚拟制作的到来已不可避免。一切只是时间问题。而答案也已经很清楚了：就是现在。

那么，明白了这些之后，我们如何在工作中运用这项技术呢？

制作电影

为虚拟制作搭建渲染服务器通常意味着组装一些性能最强劲的单台计算机——至少考虑到快速处理大量数据方面的巨大需求时是这样。选择最好的图形处理器、CPU和大内存以满足显示复杂场景的最低要求，同时匹配正在使用的摄影机的帧率，这是很普遍的做法。

正如前面所提到的，视频墙的成本可能会非常惊人。因此，相比之下，在渲染服务器中把一切都设置到顶配的成本就不那么夸张了。大多数虚拟制作公司都在这些设备上花费巨大。

应该指出的是，实际上你是可以用那种前面有个骷髅的游戏PC和带降温风扇的LED来搭建一套虚拟制作设施的。但我们不太可能在下一部迪士尼出品电影的幕后看到这种情形。

不管人们花多少钱，场景的复杂性还是有限制。设备的性能通常受到GPU本身的限制，因此许多公司在每台服务器上用两块GPU来平衡它们与系统其余部分之间的负载。在这之后图像能达到什么样的效果取决于视频墙的具体规格。

这种设置不可避免地需要机架安装的处理器：它从服务器获取视频信号，将其分割成不同区域，再传送到每块面板上。通常，这些处理器和面板之间会是以太网或光纤连接，好最大限度地减少处理器和视频墙上数百块面板之间的巨大布线量。

让我们更细节地考虑一下这些技术。

描绘现实

多年来，图形硬件已能够实时渲染出一个非常令人满意的视频游戏。但这不一定能真实到虚拟制作所需要的程度。我们对现实风格的感知很大程度上是由光线、反射和阴影驱动的，而这些都是非常难以计算。不过，当像NVIDIA Quadro RTX系列GPU在2018年首次引入光线追踪时，这部分进程开始发展得更快。

想到我们在幕后剧照中看到的美丽环境，我们很容易出现这样的想法：要构建一个精心设计的虚拟世界，虚拟制作不可避免地会涉及冗长而昂贵的制作过程。但这取决于制作所需虚拟环境的具体类型。无论规模大小——无论是一间单人房还是一个大型城市——虚拟场景创作都是一门需要合适人员参与的技艺，就和实物模型被用来做同样的事情一样。

专业工具

因此，虚拟制作始终需要一处虚拟片场和一个虚拟美术部门。这可以是一个人组装一些从素材库购买的现有资产，也可以是一个整体团队非常细节地构建出半个星球。

真实世界的拍摄地点可以用摄影测量扫描，其中形状和表面细节会按一系列照片进行计算。有许多适合各种实时3D渲染引擎的在线资产库，尽管真实感水平可能有所不同。

创建虚拟世界所需要的工作，与创建计算机生成视效的同等虚拟世界的工作相比，有很多共同之处。其关键区别在于，在上映时间安排允许的情况下，视效可以超出于预定制作时间。而虚拟制作的准备工作必须在场景拍摄开始之前完成。

这已经不是什么新闻了。例如，《异形2》（Aliens）的模型摄制组就和主组一起工作。但这应该能说明，在拍摄的第一天毫无准备地出现在虚拟制作影棚是非常不明智的做法。

大屏电视

有些人喜欢把背投作为虚拟制作的早期例子，在这种情况下，虚拟制作可远远不是种新技术了。正如前面提到的，背投技术可以追溯到1930年——几乎和同步声一样久远。

而且，与现代同步声类似的是，背投和虚拟制作都要求背景和拍摄摄影机必须同步锁相，这样摄影机录制的一帧只对应背景上显示的一帧。

电影应用背投的优秀例子包括詹姆斯·卡梅隆（James Cameron）的《异形2》：片中有个场景是从观众视角乘坐壮观电梯穿过一处巨大工业综合体，还有《黑客帝国》（The Matrix）中的行车场景。正投技术在早期《超人》（Superman）电影中被广泛使用，但在《遗落战境》（Oblivion）中却有了新的突破表现，因为当时这种摄影机内合成技术经常被认为已经过时了。

其好处与使用LED墙的虚拟制作是一样的：能够完美融合难处理的前景拍摄对象——它们可能是会反光的、透明的、失焦的，或者具有非常精细的细节。

卡梅隆知道如何通过互动式布光、烟雾和蒸汽以及手持摄影使背投的效果看起来更好。所有这些技术和LED视频墙一样效果极佳，无论是显示一个完整的三维虚拟环境还是预先录制的真实世界真人实拍素材。这种技术甚至可以用在预算很有限的项目中，只需一些相当基础的现代视频投影仪和一点技术知识即可。

来自虚拟数据的真实布光

不过，任何一种投影几乎肯定都不会具备视频墙的绝对亮度和对比度。自2010年代初以来，在《创：战纪》（Tron: Legacy）和《地心引力》（Gravity）等作品中，部分视频墙已被用作简单光源，而非图像显示。在实践中，使用LED墙给场景布光的想法可能会遇到一些实用性的缺陷，尤其是那些为了在摄影机上显示适当亮度而校正的LED墙，它们通常不会真的发出那么多的光。

基于投影仪与虚幻引擎的虚拟制作

另一个问题是色彩质量。校正一面LED视频墙以匹配各种各样的摄影机是可行的，且这样它们显示的图像看起来会很棒。然而，这些LED墙完全由红、绿、蓝LED制成，而且虽然看起来漂亮，但其发出的光的色彩质量通常不是糟糕就是特别糟糕。

相比之下，用于电影和电视拍摄的高质量布光倾向于采用由蓝色LED和发射黄光的荧光粉构成的白色发光LED。业界非常清楚地意识到，白色LED的色彩质量并不总是最好的，所以红、绿、蓝LED的色彩质量更不可能让人看起来很棒——意识到这点也就不足为奇了。

各大厂商在2023年NAB展会上开始解决这个问题。处理器厂商邦腾和面板厂商Roe展示了LED视频墙面板和处理器相关产品，包括白色芯片，以实现优化很多的色彩质量。

在过去，我们可能会使用各种即兴机制来（比方说）让灯向车后移动来暗示运动。虚拟制作可以很好地模拟这种运动，尽管LED面板的高功率会造成限制。如果我们特别想看到路过街灯的移动阴影闪过我们开快车的驾驶员，我们可能需要更多东西来表现这一点，而这就是基于图像的照明（IBL）的用武之地了。

亮度和对比度

在最基础的层面上，IBL让我们能用来自视频图像的数据来控制真实世界的拍摄布光。一个典型的例子就是利用虚拟世界的天空信息来控制一个阵列的顶部灯管，正如下方这个NAB展厅Quasar Science灯管演示图所示。

在这里，顶部视图的细节将移动光线投射到真人表演的前景上——而色彩质量相当令人满意。基于图像的照明是一个范围很大的主题，但总的来说，任何具有远程控制能力的灯，原则上都可以连接到虚拟场景的视频数据。

也许对比度同等重要的是亮度。相比之下，背投或正投屏幕是一面巨大的白色物体，只能产生一定程度的黑色，即没有其他光线落在它上面。

有人说，主要是黑色的LED视频墙，并不会有同样的问题，但这并不完全正确。这些墙不是绝对零反射率的，因为它们有一部分是由光亮的LED制成的。因此，仍然有必要尽可能地将多余的光线挡在墙外。最好带上很多黑旗。不过即便如此，LED墙的反射性还是比投影幕低得多。

足够的分辨率对于虚拟制作很重要：视频墙上的像素越紧密，墙就能在我们开始看到单个像素和出现摩尔纹图案前越对焦。

在这种情况下，多少才是“足够”取决于墙的大小，摄影机离得多远，以及使用什么光学镜头。因此，一块更高分辨率的墙在摄影机位置和构图方面会更灵活。

因此，虚拟制作机构倾向于以高分辨率为目标，可能会搭建极大量像素的LED墙，这就是为什么现场通常有满满一整个机架的服务器，每台都驱动一小部分LED墙显示。

采集摄影机

如果说3D渲染的虚拟制作有什么重要技巧的话，那就是在摄影机前一直保持一个长方形的有用图像（称为视锥）了，这会以恰当的方式让图像看起来总是正确的——不管你如何移动摄影机。同时，视频墙的其余部分会以大部分保持静态的视角显示周围场景，制造合适的反射和交互式布光。

十分剧烈的摄影机运动则需要特别留意，以确保我们不会看到越过视锥体边缘的部分。尽管如此，选择任何我们爱用的机械技术来移动摄影机是虚拟制作的最佳特点之一。

要把视锥放在正确的位置，你需要知道摄影机的位置和它指向哪里。而这通常会用到和表演捕捉相同的技术，但有两种不同的选择。

由外而内的捕捉涉及到在摄影棚周围分开放置的“目击”摄影机——它们会查看主拍摄摄影机上的物理标记。由内而外的捕捉则将目击摄影机安置在主拍摄摄影机上，由此查看影棚四周的标记。后者有时是广播电视演播室中会用的一种技术，但如果运动跟踪系统和图形渲染系统之间可兼容，则两者都行得通。

无论你使用的是什么方法，系统还需要了解主拍摄摄影机看到了什么，包括焦距、光圈和（适当的）变焦设置，以及一些关于光学镜头的基本信息。

其中有些信息类似于用镜头进行视效拍摄之前可能需要的信息。除此之外，精确的视场和任何失真都会在选定的焦距得到测量。对于球面定焦镜头来说，这是相当简单直接的；但对于变形镜头来说，这就不那么简单了，因为变形镜头往往具有奇怪的失真效果。

对于变焦来说，它甚至更不简单直接，因为它必须常在不同焦距和不同变焦距离下进行测量。

越来越有表现力

考虑完镜头，虚拟制作对那些在eBay上买便宜镜头的爱好者来说是一个特别有吸引力的想法。这些老式镜头中的一部分可能历史很悠久，但缺乏分辨率。炫光、失真和柔化可能对绿幕合成人员来说是真正麻烦的地方。但在虚拟制作影棚中，这些东西几乎可说是有益的：它们有助于将真实的前景和虚拟背景通过炫光、柔化和辉光结合起来，而它们看起来会很真实，因为它们就是真实的。

我们可能不太会在绿幕影棚使用柔光滤镜，但这也有和上文类似的好处。正如我们在《异形2》中看到的，烟雾和蒸汽技术会使绿幕拍摄变难，这在背投和虚拟制作中都有很大帮助。

“如果技术上的限制是渲染服务器绘制愈发复杂的场景的能力，那么该领域的未来看起来很光明。”

现代GPU的高性能现在不仅被游戏机所利用，而基于AI的优化，如DLSS-3，即使在最复杂的渲染环境中，也可能可以提供更高的帧率。

虚拟制作描绘越来越复杂的世界的能力，似乎注定要遇到与电子游戏本身相同的限制因素：人类花费足够时间设计出那个世界的能力。

就目前而言，壮观的大型影棚的真正限制在于财务方面——七位数的安装费意味着五位数甚至六位数的日租金。但如果项目卡司有知名演员，其档期有限，但需要出现在一系列天南海北的拍摄地点，那采取虚拟制作绝对是有意义的。

与此同时，将背投或正投、真人实拍，甚至微缩素材混合使用的方法也一直都行得通，这意味所有节目，小到超小规模短片，大到下一部超英大制作电影，都有着可以采用虚拟制作——或也许可称之为摄影机内合成——的路线。

出处：Phil Rhodes | Frame.io

编译：Charlie | 盖雅翻译小组