从电影摄影的角度来看，拍摄虚拟制作需要深入的知识，和探索这种不断发展的实时技术的激情。我们与戴维·斯顿普（David Stump，ASC）和吉姆·杰多尔迪克（Jim Geduldick）两位在虚拟制作领域有丰富经验的摄影指导（DP）谈了谈，了解了他们对一些事情的看法，包括LED虚拟影棚拍摄、摄影机与技术、视效、布光和有备而拍的重要性。

戴维·斯顿普

你在电影摄影和视效两个领域都有非常丰富的经验。你如何平衡作为DP和作为视效总监的工作？你的背景如何引领你进入虚拟制作领域工作？

任何新的、技术性的——人们没见过的能完成镜头的工作流也好，技术也好——对我来说都很有趣。我从大概2003年开始进行虚拟电影拍摄。当时这项技术远远领先时代，过了这么久，它的时代才到来。2003年，我为兰德尔·克莱泽（Randal Kleiser）拍摄了一部电影，叫做《摩登小红帽》（Red Riding Hood），那部片就是全蓝绿幕拍摄的。跟踪用的都是我手动搭建的一套动作跟踪系统，借此我们得以给摄影机定位并匹配CG运动。因为当时还没有虚拟引擎，我们用的是跟踪系统的输出来驱动Maya。虽然我们无法进行完全的棚内合成，但我们可以对合成镜头可视化，并在棚内录制我们称之为“临时合成”（slap-comp）的东西用于剪辑和视效构图参考。

对我来说，过渡到虚拟技术是自然而然的事。艾略特·马克（Eliot Mack）几年前有一项叫做Lightcraft的技术，我用它完成了好几次非常高效的拍摄，此后不久扩展现实和LED墙拍摄就问世了。对我来说这并不是一种新技术，而是我自然而然会转移精力去做的事。至于我两种职业左右开弓，一边当DP一边当视效DP/总监，要假装我两者兼顾很难，但我在努力，因为好莱坞很喜欢片面地给人做分类。所以我都尽量不强调我的职业历史。我觉得，个人履历可能是判断你失格的一份列表。

从电影摄影的角度来看，什么类型的项目，无论从时间、资源还是节省成本方面，你觉得最能从虚拟制作拍摄中获益？

我曾想到过一个概念，就是我们怎么写这些有时光机可以让我们穿越时间的科幻电影。虚拟制作技术就是个小小时光机，但它其实更是一种我称之为“地点机”的东西，因为它能让你去任何地方，在棚内就可以实现，三个小时你就能到达不同的地点。在同一个影棚里就可以周游世界。

有没有特定类型的项目会从虚拟制作获益更多？或者你觉得有任何类型的项目，用虚拟制作来拍就会很好吗？

我不会说任何类型的项目用虚拟制作来拍就会很好，因为仍然有很多项目是，你去某个地方啪嗒放下摄影机，然后拍出来的效果就是看着更好，还更高效，也更经济省钱。

与此同时，预算和日程越来越紧，而期待却越来越高。DP和视效艺术家去学习和理解如何使用虚拟制作技术是义不容辞的。它是工具箱里的又一个工具，它能为你实现以其他方式很难实现的事情。你真的需要了解这种技巧和技术，因为它不是一体适用的。不是每个镜头都适合这么拍，也不是每部电影都适合用它。

虚拟制作的计划至关重要，因为烧钱的拍摄日可没时间容你犯错。跟我们稍微讲讲虚拟制作的计划流程吧。

你一定要进行精细的计划。所有场景、艺术创作和背景都必须为拍摄日做好准备，因为如果你到达虚拟影棚开始给LED墙投素材的时候才发现没准备好，那摄影机就没东西拍了。准备对于虚拟拍摄来说极其重要，不只是制作previz。

去年我在罗马拍了一个剧，我们当时做了分镜、previz和techviz，然后我们在虚拟系统上重做了techviz，在把任何素材带到摄影棚之前，我们几乎花了一年时间想尽办法做各种测试就算到了棚里，我们最后还是没用到LED墙，只用了LED墙的技巧来做真人实拍视效。现场拍摄的物体后没有用LED墙。这不太好理解，但我们没有支起LED墙，而是想出了一个概念，现在我们给它起了个绰号，叫“类屏”（similar screen）。它既不是蓝幕也不是绿幕，就是以一个类似最终合成镜头的背景来拍摄。

随着AI开始融入视效，虚拟制作的运用会增加。现在大家开始利用AI来做的事情之一就是转描或从背景手动抠出人或物。转描在过去是极其吃力不讨好的，而且很难找到专门做这个来谋生的人，因为它实在太无聊了。AI则可能实现只需你按一个按钮，等40分钟后回来，就看到转描完成了。

在为虚拟制作做准备时，你一般在早期会跟团队中的哪些人进行沟通？

你需要美术指导和艺术总监，还有虚拟美术部门（VAD）和他们自己的设计师与艺术总监。你的虚拟总监和导演也需要参与。DP应该参与是因为，坦白说，项目中没有其他人那么擅长将合成和叙事，与摄影机运动及构图结合起来。为了让所有那些人参与到同个流程中，有一个非常重要的因素，我称之为“买账”。要买账，尤其是在制片人和导演这一级，一定程度上还有DP这一级，大家需要为这个流程买账。而如果你一开始是试图去说服那些对这个流程持怀疑态度的人，那么在项目剩余的时间里，就是在给自己加难度。

对于虚拟制作，典型的布光设置是怎样的？在LED屏发出额外的光的情况下，你如何进行拍摄？

一般我跟每个人说的第一件事就是，别指望LED屏来给你的拍摄对象布光。屏幕是用来提供反光和背景的，但屏幕发出的光线不足以好好给人脸布光。所以如果你动心思，想只利用屏幕来给前景拍摄对象布光，那可不是个好主意。我怎么跟别人说蓝绿幕，我就怎么跟别人说LED和虚拟制作，即，要把前景发生的内容当成一个布光设置，而屏幕上的内容当成另一个布光设置。只是两个设置刚好发生在同个地方罢了。

对于前景布光，要尽量离开屏幕完成，不然你就会让画面中的暗部变平变灰。同样，如果你点亮了整面半圆的LED墙，而你只用了墙中间部分的20英尺（约6米），并且没有用它来制造反光，那你就只是在让自己的演员看起来泛红，而你得在拍摄期间一直与之抗衡。

LED墙现在进步了。我们现在有RGBW了，所以我们能获得有白光的LED墙，但总体来说，所使用的大部分LED墙都是从窄窄的RGB原色光谱制造色彩的。如果你分解来自LED墙的光，你会相信自己在屏幕上看到的是黄色。当你去分析的时候，你并不是真的看到了黄色；你看到的是红色和绿色的组合，这种色彩组合会欺骗你的眼睛让你以为看到的是黄色。

如果你觉得你看到屏幕发出的是青色，你去分析光谱时会发现，你并不是真的看到了青色的光线。你看的是绿色和蓝色的组合，它欺骗你的大脑让你以为看到了青色。

有的人跟我说，摄影棚里看到什么并不重要。重要的是摄影机里看到什么。

完全没错。两个看起来是不一样的。这是RGBD摄影机上窄光谱RGB原色的“骗局”。蓝色、绿色、红色、青色、品红和黄色是在LED墙上创造色彩的实际光谱。你可以看到红色、绿色和蓝色被创造出来，但青色、品红和黄色是怎么创造的则没那么明显。如果你分解LED墙上所看到的东西，比如黄色，你实际看到的是一种奇怪的绿色和红色的组合。摄影机能看到那些颜色，你的眼睛也看到那些颜色，但当那些颜色从人脸反射时，跟从物体上反射的效果看起来不一样。

对于虚拟制作拍摄，你推荐什么摄影机和镜头？

对于LED墙前的拍摄，摄影机和镜头真的没什么限制。主要需要注意的是用变形镜头拍摄LED墙的情况。如果你想要把事物匹配起来，把前景的实物跟墙上虚幻引擎生成的物体匹配，而且你还有大幅度的摄影机运动的话，是很难把变形镜头映射到引擎上的，因为它们在光学上很复杂，而且它们有两种不同的入瞳（entrance pupil）：一个是水平的，一个是垂直的。

当你在系统上对齐两个镜头达到零视差，你可能可以得到零视差，但当你做俯仰运动时，会出现视差，反之亦然。当你对齐垂直轴并俯仰运动时，可以实现无视差，但当你平摇时，就有视差了。那是因为变形镜头有两种入瞳。我去年在罗马拍的那部剧，我们花了很大力气给那些镜头做映射，理解镜头并给虚幻引擎做实时动态校正，好不容易才能在虚幻引擎生成的物体间正确上下左右移动。那可不简单。

对于虚拟制作领域的新手，你会推荐什么技巧或技术？

虚拟制作会遇到非常多的东西。你不能依赖LED墙而要给前景物体单独布光，理解这点很重要。很重要的是，要理解在你前往LED墙摄影棚之前，你需要准备好要用到墙上的一切。

还有一个因素是大家普遍没注意的，那就是，当你进行视效工作时，要进行版本迭代。比如拍摄绿幕，你会看到一个测试合成版本，然后你写下评论注释，然后你就要做另一个版本迭代，然后导演再评论注释，那你就要再做一个版本迭代。基本上就是通过多次迭代渐渐达到最终的效果。当你在棚里拍摄LED墙项目时，所见即所得就是拍出的那一版。DP随后也会成为主合成师。然后你就要充当那个十分具有批判眼光的专业人士，想一想：画面哪里有问题？

你如何解决那个问题？

通过策略性地提高意识。在我们这行，应该说是任何一行，未知的东西最吓人。那些你不懂做的事。现在最棒的就是有网络，尤其是有YouTube，那是个很棒的资源。通过线上查询各种内容，如今刚入行的人就可以得到提升。

在你拍完一个项目后，会要进入后期制作流程，你如何与调色师或视效艺术家合作实现想要的最终风格？

扩展现实拍摄是否简化了后期流程取决于你在棚里的拍摄有多成功。如果你要返工重拍，那你其实没节省什么。事实上，某些情况下，你可能还拉高了成本。视效监督的水平可以说会决定那一点。跟CG艺术家为镜头做不同版本迭代的过程就是不停地回顾和审片，你在其中要圈圈画画标箭头，并解释在某个合成里，要对实体或画面做什么更改。那个迭代的过程现在是一种很靠谱的方法，一般来说，只要你资金负担得起，只要日程允许，就可以一直迭代下去，通常是资金不足或日程不允许而导致迭代过程变短。正如达芬奇所说，艺术作品永远没有完成的一天，只会被搁置。

你参与了什么近期的虚拟制作作品是我们可以期待一下的吗？

有的。虽然那不是一个LED墙制作，尽管它一开始是的，但最终它是以虚拟屏幕完成的项目，叫做《指挥官》。它是一部意大利潜艇电影，我们运用了所有虚拟制作技巧，并从那些技巧中演化出了新技巧，包括不以LED墙拍摄，而是以一个类似最终合成成片的背景来拍摄。

我们用到了Nuke中的一个叫Copycat的工具来做合成，我们还做了转描和copycat转描，我们学到了很多不使用蓝绿幕，或演员身后没有LED墙的合成技巧。我们还完完全全地开发了一套光学工作流，它让我们得以采用变形镜头拍摄，并且我们拍摄使用的摄影机可以驱动虚幻引擎，然后使虚幻引擎的输出畸变，让摄影机实时信号以相同的畸变双重曝光。这让我们可以在片场实时或接近实时地为导演将临时合成可视化。我们将这种技术叫做近实时制作（near real-time production，缩写NRT）。

吉姆·杰多尔迪克

你的职业生涯经历过很多不同的角色，包括DP、虚拟制作总监、视效总监等等。你多样的工作背景是如何让你对虚拟制作产生兴趣的？

我从摄影、后期、视效工作一路走来，所以我对整个制作管线有很好的全局观。在数字和实时方面，我们可以立即看到图像；我们不用再等着洗印素材——除非我们进行的是IMAX或35mm或Super 16胶片拍摄。虚拟制作并不是新玩意，但我们看到的是，这项技术已经成熟，让我们可以从摄影机获得实时图像，计算机可以在LED墙影棚或投影上得到实时图像。

可以说，早期虚拟制作的先驱者之一是阿尔弗雷德·希区柯克（Alfred Hitchcock）。如果你看看《群鸟》（The Birds），或他的一些利用背投的项目，那就是早期的虚拟制作。我认为表述不当的地方在于，其实虚拟制作是一个笼统的术语，表示的是创意性与技术学科的融合。虚拟制作的内核仍然是拍摄制作，涉及的很多岗位也是一样的：导演、DP、机械师、灯光师和美术指导。我们只是现在才加入了这些实时工具。

虚幻引擎现在已经足够成熟，可以让我们把这种技术整合起来。我现在所在的职业生涯阶段是，我正在寻找新技术，发掘娱乐行业之外的应用，无论是机器学习工具还是机器人还是计算机视觉。它们在叙事中都有一席之地。这些工具只是创意人士可以运用的画笔，无论他们处于内容创作流程的哪一环。

让DP加入前期制作的沟通有多重要？

我尽量让摄影团队尽早加入其中，因为虚拟制作的一大重点在于它的术语，以及团队的信息互通。摄影、布光和美术团队都很关键，因为这项技术中我们要遵循的很多东西都要装到摄影机上。比如FIZ系统（Focus-调焦、Iris-光圈、Zoom-缩放）、Rover追踪摄像机和Sputnik标记（IMU/被动标记）等用来跟踪的东西都要装到摄影机上。虚拟制作团队与摄影团队之间有一种你来我往的互动，所以统一术语可以更容易和顺畅地理解彼此。对于拍摄机内视效，我不说存在什么限制，但很多是基于机位放置，如果摄影机以某种方式来放置，或摄影机运动太快的话，画面效果会穿帮。

我与DP和其他传统制作部门合作的很大一部分职责在于帮助他们培养对术语的了解和对技术的分析。虚拟制作是非常技术性的，有时候摄制组对这种拍摄方式的熟悉程度各不相同，所以统一术语，确保各部门理解相互的沟通很重要。

虚拟制作总监或视效总监的岗位通常意味着花大量时间与DP在一起，所以从拆解到虚拟美术部门到预布光到片场到甚至后期阶段，无论他们对视效或虚拟制作的熟悉度如何，这都是关键。在早期的沟通中让DP和其他部门主管加入进来十分重要，因为决策务必要提前做好。他们总是说，在虚拟制作中，预算资金要提前，因为决策也提前了，那也会影响拍摄日。

虚拟制作中，计划极其重要，因为在非常烧钱的拍摄日，你可不想胡乱实验或犯错。你能谈谈那个过程吗？

每一个很小的事情都需要准备、准备再准备。你还需要跟虚拟制作团队、DP及其摄影团队保持有效沟通，因为摄影机是主要的采集源，也是摄影机冲着LED墙拍。要确保摄影机所见画面正确，背后涉及一大堆技术。对于色彩、校准和摄影机跟踪，所有这些东西本身就需要跟虚拟制作团队和摄影团队有效沟通，让一切信息正确同步。

当项目既有虚拟制作又有传统视效时，沟通可能就更加重要了，因为LED墙上的镜头可能会变成影响每日样片、后期、剪辑和视效的东西。跟任何事情一样，如果你预先计划好，那就是为可能出现的一些问题做了准备。

对于实验，有几个误区是我想帮助消除的。有一个迷思是，虚拟制作是一个盒子，你无法在创意上跳出那个盒子。绝对并非如此。一些没有使用过这种技术或没有制作过带大量视效的剧集的导演和DP可能会觉得，如果跟他们说这也不行那也不行，虚拟制作是束手束脚的。在片场你可以有发挥创意和进行实验的时间，只不过应该放在前期的计划阶段里——previz、tech-viz和虚拟美术部门的阶段。如果你已经为LED虚拟影棚创建了资产——无论是计算机生成的还是采集到的作为2D或2.5D的实拍原档——其整体的优势在于，你的虚拟道具，或者说LED墙上你的资产，是在虚幻引擎中创建的。这种易适应性可以让你更改一天中的时段或虚拟道具，比如树木、地面或建筑物。如果你提前计划好，你就有时间很快地进行这些更改。

从电影摄影的角度来看，什么类型的项目，无论从时间、资源还是节省成本方面，你觉得最能从虚拟制作拍摄中获益最多？

如果是一部长片电影、电视剧或MV，里面有场景变化或不同的环境，那么虚拟制作是理想的选择。能够在一天中不同时段，虚拟地在多个场地拍摄，这是个优势。天气也是同理，因为在常规拍摄中我们总是要受制于大自然母亲对天气的操控。如果你的日程安排在南方的冬天拍摄，那拍摄就经常会被雨天或雷暴打断。但如果你在LED影棚里拍摄，你就可以把户外场地扫描起来，不受打扰地拍摄。

这样还有助于布光的统一性，无论处于一天中的什么时段。在演员档期和场地限制等方面的无数情况中，虚拟制作都有极大的帮助。可能某个地点是你无法拍摄的，但你可以从风格化或照片级真实的角度数字化重建该拍摄地。使用摄影扫描和激光雷达技术是视效和虚拟制作的常用操作。我们为一个地点创造一个数字克隆，并且相较于在真实地点，在数字空间可以拍摄更久。我们控制不了游客和人群，所以我们就这样来控制环境。虚拟制作可以突破不同方面——预算和出行限制，天气和时段，演员和档期。

对于虚拟制作拍摄，你推荐使用什么摄影机和镜头？

要我说，长片电影和剧集各有自己青睐的摄影机和镜头。Red的V-Raptor和Komodo X，Sony Venice II，和ARRI Alexa LF与35。你要确保你的摄影机选择能够支持某些性能，比如良好的动态范围，同步锁相和时码，多个SDI接口，以及DP会使用的其他专业性能。

对于镜头，要在球面镜头和变形镜头间做选择。这两种技术的差别在于使用模拟和数字（智能镜头），以及它们如何向虚幻引擎或其他引擎传递镜头数据和特性。

使用模拟镜头的好处在于，其选择范围更广，大部分DP的镜头选择都是模拟镜头。使用具备数字性能的镜头，你则可以直接获得镜头数据，这些数据会通过镜头卡口传给摄影机，元数据会输入RAW流传到摄影机卡。

Zeiss、Cooke、Panavision、Angeniex和Fujinon等镜头制造商全都有数字镜头以供选择。当以模拟镜头拍摄时，你需要某种过渡解决方案，比如FIZ系统（调焦、光圈、缩放），来将镜头数据转给你选用的实时引擎。特定的摄影机跟踪解决方案也会通过软硬件集成镜头数据。镜头校准仍是一个十分耗时的过程。

对于某个想要达成的风格，许多DP都有自己最喜爱的镜头，那么我们在后端要做的就是做好所有的摄影机、镜头和摄影机跟踪校准，让数字与实体相匹配。变形镜头比球面镜头更棘手，因为它们有不同的特性。对于变形镜头的给定风格和感觉，很多人喜欢这种镜头的风格，以及光线对这种镜头的反应特性。

一般来说，我们会在前期制作时很早就进行沟通，DP和导演会告诉我他们想要使用的镜头和摄影机，而我告诉他们选用这些产品的效果，以及他们要注意什么。如果你有3个摄影机机身，每个机身配一组12个镜头，要提前校准的设备就很多了。将镜头、摄影机和摄影机跟踪的校准纳入预算和准备时间也十分重要。

对于虚拟制作，典型的布光设置是怎样的？在LED屏额外发光的情况下，你如何进行拍摄？

那总是不太好处理，因为这会影响我们所谓的“预布光”或“混合日”。DP及其灯光师首先会看一下LED墙早期设计的技术布局。通过了解虚拟影棚拍摄日所计划的镜头，他们可以搭建布光示意图来决定随LED面板应该一起使用什么现场灯。出于布光手法的不同因素，他们可能会想要一个天花板。它可以是一个道具、演员的服饰或有反光属性的载体。使用柔光网或LED面板作为天花板，可能是实现现实世界常见的反光全包裹效果的一种选择。那是光线的自然特性——环绕包裹。

从电影灯具会得到与LED面板不同的布光输出和色彩呈现。你需要考虑布光会如何与人体皮肤和现场道具交互，或光线会如何在一个银色头盔或小车上反射，就是依据这些决策来看要使用什么类型的光。因此与DP、灯光师和机械团队合作是关键，共同确定在哪里放置或安装灯具。关于布光，以及LED墙能用和不能用什么来布光，有诸多考虑因素。混用现场光并进行融合是关键，因为它们会提供不同的技术和布光条件输出。当演员们和布景设计到位后，你需要将一切混合起来，让你的前景物体不会在墙前显得突兀。所以在做混合和预布光的日子里，你要平衡摄影机、色彩和布光。

在你拍完一个项目后，会要进入后期制作流程，你如何与调色师或视效艺术家合作实现想要的最终风格？

如果你拍的是摄影机内视效，那就会希望一切都是机内直拍的。当然，你知道图像总是会在要么样片、要么后期、要么视效、要么剪辑、要么最终调色阶段经过一定的润色修改。在棚内完成拍摄后，图像会经由几人进行处理。你需要跟他们进行沟通，尤其是如果你参与的项目是由多家公司共同制作的。这么做的目的是聚集所有部门主管，看看虚拟制作交付文件，看看虚拟制作可能会如何影响这些其他方面。

对于任何视效公司也要这么做，因为它们都有各自不同的管线。理解虚拟制作团队会给这些不同部门交付什么十分重要。这甚至可能还会回溯到制片厂方面：会有一个总文件提供给所有视效公司，其中包含了宽高比、交付文件、交付指南、LUT、审片工具要求。如果我们要交付给其他公司我会讨论后期、视效和虚拟制作管线是什么样的，并理解我们要给主视效公司的交付文件是什么。这是一种周而复始的内容交付，它可能要发给虚拟美术部门做迭代，或半成片要交付给视效公司，因为有的镜头可能是合成的，需要视效团队来润色处理。要做的事情很多，我想那就是为什么一些人会对这个过程产生畏难情绪。但话说话来，如果我们尽早进行过这些沟通，并且有备而来，我们就可以避免问题的发生，或我们可以想出行动方案，如此一来我们就可以选择以此为中心行事，或见机行事，这样才不会对预算、人工和时间进程产生太大影响。

你近期参与的虚拟制作项目有哪些？

我刚作为虚拟制作总监完成了几个很棒的项目。我得以跟视效总监凯文·贝利（Kevin Baillie）、DP唐·伯吉斯（Don Burgess，ASC）和导演罗伯特·泽米吉斯（Robert Zemeckis）合作长片电影《这里》（Here），主演是汤姆·汉克斯（Tom Hanks）和罗宾·怀特（Robin Wright），影片改编自理查德·麦奎尔（Richard McGuire）的连环画小说。这是我在罗伯特的迪士尼版《木偶奇遇记》合作过的同个班底。

我还和DP克雷格·基夫以及The Muppets Studio的团队合作了Disney+的剧集《布偶天团》（The Muppets Mayhem）。另外还跟导演克里斯蒂安·雅各布斯（Christian Jacobs）与斯科特·舒尔茨（Scott Schultz），以及制片人里塔玛丽·佩鲁吉（Ritamarie Peruggi）合作了《嘎巴宝宝》这个有意思的剧集的重启项目《Yo Gabba Gabbaland》。这个项目将于2024年上线Apple TV +。此外，我还参与了Amazon MGM Studios的《热情邀约》（You’re Cordially Invited‎），影片主演是威尔·法瑞尔（Will Ferrell）和瑞茜·威瑟斯彭（Reese Witherspoon）。这部合作的导演是尼古拉斯·斯托勒（Nicholas Stoller），DP是约翰·古莱斯利安（John Guleserian）。

出处：Alyssa Heater | postPerspective

翻译：LorianneW | 盖雅翻译小组