虚拟制作离不开实时渲染技术，而后者通常与虚幻引擎和 Unity 等游戏引擎密切相关。然而，实时技术也在影响日常视效制作的相关工作流和管线。随着这项工具不断改进、使电影制作更加便捷化，新的挑战和机遇也出现在视效艺术家和制作团队面前。

“我在视效行业所做的第一份工作就是制作《星球大战前传1：幽灵的威胁》（Star Wars: Episode I – The Phantom Menace），这是首部采用可视化预览技术（previs）的电影，”Eyeline Studio 副总裁兼创意总监凯文·贝利（Kevin Baillie）回忆道，“那时，我们的实时技术性能还十分有限，但现在，这项技术的水平发展到了能实时获得看起来接近成片质量的图像的程度。不只是可视化预览，还有虚拟美术部门来打造布景设计，无论我们是通过摄影机、VR 眼镜还是其他手段来观看。这些十分强大的工具能让电影人加速部分实拍进程，先从数字版本开始，对其进行快速迭代，然后再进行冗长乏味、耗费不菲的实拍阶段。当我和罗伯特·泽米吉斯（Robert Zemeckis）在合作制作《木偶奇遇记》（Pinocchio）时，我们对整部影片做了可视化预览。

当我们在拍摄这部片子时，我们会对那些涉及真人实景的场景进行现场实时合成；对于所有东西完全是虚拟镜头的场景，我们会将摄影机数据传递给下游部门；然后这些摄影机数据会进入视效后期制作流程。我们使用这些实时技术将这部电影制作了三次，而这种迭代也帮助泽米吉斯缩小了范围，并找到了他真正想要的效果。”

在制作《使女的故事》（The Handmaid’s Tale）时，疫情管制措施出台，这就意味着大家不能搭乘同一辆车一起前去勘景，而这时，虚幻引擎就成了解决问题的答案。

“我会外出进行勘景，扫描取景地，用虚幻引擎重新搭建这些取景地，然后我们会在会议中过一遍，”Mavericks VFX 总裁兼视效总监布兰登·泰勒（Brendan Taylor）回忆道，“我喜欢跟别人说，我们在制作一部名为“我们来拍电影吧”的游戏。这款游戏的好处在于，你可以给这个世界制定所有的规则。一部游戏的关键就在于，你需要能从各个角度观察它，并且能够实时调整。当我们在制作电影时，我们处理的是现场的情况和摄影机内的情况。”

虚拟勘景使得伊丽莎白·莫斯（Elisabeth Moss，译者注：曾出演《使女的故事》第一季的女演员）有了一些发现。在执导《使女的故事》第一集时，她将这些发现运用其中。泰勒解释说：“我们能够做的就是，按照计划在蓝幕影棚内搭建布景，然后（在放映室内）使用一个搭载在小型手持设备上的监视器，与伊丽莎白一起探索剧中的空间。她和我、摄影指导（DP）斯图尔特·彼得康比（Stuart Biddlecombe）以及虚幻引擎专家保罗·维日比茨基（Paul Wierzbicki）尝试了一些东西。伊丽莎白说：‘这里还缺了点东西。我们的画面色彩太单一了。’保罗回复说：‘有时候这些大楼会亮红灯。’他很快拿出一台闪烁的红灯放在角落，这很快就改变了场景的色调，有了这种阴森可怖的风格。这让男人将女人推下楼顶的戏份变得更加骇人了。直到我们真正融入我们创造的这个游戏之中，我们才意识到可以这样做。对我来说，那是一个真正的顿悟时刻，所有事情都协作起来。”

游戏引擎和实时技术正在不断精简。“我们所拥有的懂得使用虚幻引擎来驱动虚拟制作的人才不够多，因为虚幻引擎是一款功能非常强大、且一直在不断开发的软件，”SHOTCALLER 所有者兼 AMS Pictures 虚拟制作总监杰森·斯塔恩（Jason Starne）说，“我们需要一些简化的东西，而我们看到，Chaos 等公司正在做这件事。他们正在打造一个可以构建 3D 世界场景、真正的实时路径跟踪器，而这款路径追踪器能够让你从渲染图像中获得最佳质量。实时是管线中的一个方面。这个工具和虚拟制作一样，都是摄影棚可以利用的另一套工具。”误解是一个问题。“缺点是，市场营销使得甚至我们的客户都会误以为这是件很容易做的事，以为不需要投入太多精力就能做成。但是在现实生活中，我们必须投入精力，制作或者搭建东西，这样我们才能从中提高速度。并不是说因为某件东西是虚幻引擎中生成的，就意味着它一定是实时的。它可能是实时，但看起来效果十分糟糕。我们如何才能兼顾质量和速度呢？”

Chaos集团正在开发一些实时软件程序 —— 如光线跟踪渲染器 Vantage 和 Arena —— 这些程序会对摄影机内效果进行光线跟踪。“对我们来说，Arena 是对 DP 现有摄影机的扩展。只要DP能够和运行影棚的人沟通 —— 比如机械组长或掌机，那我们就能顺利完成工作。”Chaos 集团的 Chaos Lab 总监克里斯托弗·尼科尔斯（Christopher Nichols）表示。

“我们研究了它们需要做什么才能在 LED 墙上显示正确的视频。本质上，我们需要的是能跨多个节点同步渲染、同时能跟踪摄影机的系统，从而获得正确的视差。这是我们给 Vantage 增加的基础功能，确保它成为一个摄影机内效果解决方案。通过向这个流程中加入完整的光线跟踪，省去栅格化渲染的必要，你可以更好地复制摄影机，无需像电子游戏那样优化数据或几何图形。几乎所有后期制作的操作都会使用完整的光线跟踪，无论是 V-Ray 还是 Arnold。这大大节省了将 CG 元素放在人物后方所需的时间和精力，因为所有的背景使用的都是相同的资产。虚拟美术部门可以专注于正确合成镜头，或创建正确的环境，而不是纠结‘我如何才能重新制作，让其适用于游戏引擎呢？’”

如今，创意方面可用的选择越来越多。“我们现在看到一些概念出现，比如数字孪生，如果没有实时工具进行规划和执行，这些概念几乎不可能实现。这些技术正在改变创作者的规则，尤其是在预算和期望都很高、不容许任何沟通失误的情况下，”Framestore 创意技术总监布莱恩·所罗门（Brian Solomon）指出，“另一个快速发展的领域是角色的运用。实时技术使我们能够在电影制作的早期阶段 —— 尤其是在角色驱动的真人电影中 —— 进行可视化预览和使用动态 3D 角色。同样，现在影视级的实时角色变体也带来了优势。这些优势正惠及更大的品牌和动画 IP 的所有者。随着一系列新格式的出现，这些角色能够以前所未有的方式与世界互动，并以以前不可能实现的周转速度完成制作。总体而言，实时技术正在拓宽角色的创作视野。”

实时技术正在积极转变影视制作管线。“在传统视效世界中，它能实现更快的迭代，从而鼓励更多地进行创意选项的探索，”DNEG 的全球首席技术官保罗·萨尔维尼（Paul Salvini）表示，“这些进步在动画、生物和角色效果（例如模拟肌肉、皮肤、头发、皮毛和布料）等领域有着关键作用。如果实时解决方案的最终输出需要进一步的处理，那么实时和非实时工具的紧密连接就变得至关重要。艺术家的角色并没有发生本质上的改变，但工具会实现交互性更强的工作流以及更优的反馈。实时视效也从 previs 一直到最终渲染阶段使得比以往更多的影视制作领域发生了变化。”

观众将会享受到沉浸性和交互性都更强的体验。萨尔维尼表示：“近期，一些现场虚拟演唱会体验出色地融合了现实世界和计算机生成世界的精华，为观众带来了前所未有的体验。例如，让当前艺术家的表演视觉映射至年轻时的自己身上。”

叙事以及能够为客户呈现最佳影像，这是索尼影视图像工作室（Sony Pictures Imageworks）的主要技术目标，这意味着他们要明确，如何利用他们的 GPU 渲染器 Arnold 实现近乎实时的效果。“客户对实时技术了解得越多，越了解制片厂在做的工作，他们就越希望能突破极限。”索尼影视图像工作室的软件开发执行总监格里戈里·杜卡特尔（Gregory Ducatel）表示。

“与优秀的创意人员、客户和技术合作，你会获得一种魔力 —— 这些人的创意会迸发。这非常疯狂。目前，如果你不使用虚幻引擎，图像质量就会下降，但加上布光之后，图像质量又会提升；这对我们来说很难接受，因为艺术家丧失了工作的环境，而创意人员并不喜欢这样。这就是 Spear（索尼影视图像工作室版本的 Arnold 渲染器）被引入的原因。我们要如何保证在给定的每一步都始终保持尽可能高的质量，并且不会退回到前一步？”动画长片电影与视效应用在某种程度上是不一样的：然而，其中的原理还是一样的。“我们始终追求更高的质量，更多的迭代。我们不想等着接到反馈注释，或者等艺术家做了某些事情之后，再回头参照反馈注释。如果你能实时渲染视效，那么艺术家就能继续推进，而这正是你想要的。”杜卡特尔表示。

实时视效技术将会一直存在。“那些没有意识到实时技术才是我们所有人应该追求的方向的人，只能说他们已经停留在过去了，”Zoic Studios 的视效总监兼创意总监朱利安·布拉米（Julien Brami）认为，“虽然完成片和概念制作还有时间；所有那些都要花时间，但当我们需要互动并获得反馈时，无论是来自客户还是合作伙伴，实时技术都是最佳工具。实时技术让我们能够更快地迭代，而更快意味着更多选择。然后，你可以筛选出有效的方案。现在，你有机会与客户合作，而不是对他们说‘不’。虽然迭代次数更多，但迭代起来却轻松多了。” 管线正在不断发展。 布拉米说道：“Zoic Studios 的视效管线一直以来都是模块化的。我们努力将管线程序化，以便根据每部作品定制管线，实现更高效率。实时视效让我们的参与转移到了影视制作的前端，后端的工作量大大减少。如果使用传统管线，我们会使用蓝幕或绿幕拍摄，并且需要对所有内容进行抠像；而所有这些工作都会在制作流程的后端进行，这通常会带来更大的压力。”

随着人们期望的不断增长，技术也在不断进步。“虚拟制作、机器学习和实时渲染引擎；所有这些技术已经存在了几十年，”Technicolor 全球虚拟制作和现场服务的高级副总裁玛丽安娜·阿库尼亚·阿科斯塔（Mariana Acuña Acosta）表示，“这些技术并非是一夜之间突然出现。真正在持续进步的是我们的计算能力。我甚至无法想象，我们将如何利用这些新一代 GPU 来维持所有的机器学习和人工智能。推动这些进步的是虚拟制作、云工作流、机器学习、人工智能以及游戏引擎本身。”为了避免技术过时，硬件必须要不断更新。“对于制片厂来说，不断更新硬件的成本很高。也许在某个时候，你接到一个项目，或者想创造一个自己的项目，却发现没有足够的硬件来运行它。这时，云技术就派上用场了，因为它可以扩展并利用拥有最佳配置的机器。这一点至关重要，因为云服务提供商在 RAM 和 GPU 方面拥有大量资源。”

随着虚幻引擎和 Unity 每次发布新版本，渲染技术在不断改进。

“实时渲染技术的进步 —— 例如虚幻引擎 Nanite 的虚拟几何体 —— 显著减少了优化资源以实现实时性能所需的时间，同时提高了视觉逼真度，”Framestore 的实时与虚拟制作高级产品经理丹·查普曼（Dan Chapman）表示，“展望未来，高斯泼溅技术（Gaussian Splatting）将为实时应用中的相片级真实树立新的标准。通过摒弃传统的、基于多边形的 3D 模型，转而以神经辐射场（编码光信息的点云）为基础，高斯泼溅提供了一种更高效、更准确的方法来实时渲染复杂、逼真的场景。”实时视效提升了观众对沉浸式、交互式和个性化体验的期望。

查普曼表示：“增强现实、虚拟现实和投影映射等技术能让景点对游客的动作和决策做出实时响应，从而打造个性化的故事线和环境，让每位游客都能产生独一无二的体验。这种转变也发生在线上，观众可以积极参与体验，并塑造和分享自己的体验。这在堡垒之夜和罗布乐思等游戏平台上尤为明显，用户可以参与现场活动、与朋友交流互动，并合作开展创意项目。”

有时，实时解决方案会降速至传统的视效渲染器。“如果要求过高，它可能会走错方向，”Cinesite 的可视化和视效总监理查德·克拉克（Richard Clarke）指出，“我很好奇，我们是否能够改进这个两个阶段的流程，让你能够快速进行可视化、探索、迭代，并对成片有一个清晰的了解，但同时又不全盘否定，让视效团队依然可以自行完成，或将其传送到云端进行更高级的处理。你最终得到的输出会更接近最终成片。”

“目前，实时视效的一个问题是，视效团队将会使用到的各种渲染版本无法被轻松复制。你输出的 AOV（任意输出变量）越多，实时渲染的速度就越慢。postvis 是实时技术与视效管线工作流的真正融合。postvis 的优点在于它并非最终成片。我们有一个小技巧：在 Arnold 中制作一个精美的场景，烧入所有布光和纹理，几分钟内直接从 Maya 输出镜头，然后直接进行合成。它们看起来几乎就是最终成片。这是在做预打包。游戏引擎会预先捕捉大量的布光，以便制作实时画面。这样可以节省大量处理时间。我使用的实时技术越多，就越觉得它会成为一切的基石。Autodesk 向我们展示了 Maya 中的虚幻引擎测试版。这令我非常兴奋，因为我们一直在反过来操作。在视窗中看到虚幻引擎，这对我来说就像是惊喜时刻，因为目前大多数视效艺术家都以 Maya 为工作中心。”

与自然界一样，科技也是一个生态系统。“我们现在在尖端看到的是众多创新技术的融合，”Vū Technologies 首席执行官蒂姆·摩尔（Tim Moore）表示，“三年前，业内人士使用游戏引擎生成实时效果，但随着生成式AI的发展，人们能更加快速地进行视效制作。这两者之间的融合非常有趣；可以在一个拥有所有视角和控制的 3D 环境中生成内容。”

实时技术在概念阶段最为有用。“对于那些想法简单、希望获得丰富输出的人来说，人工智能就是一个非常棒的工具，因为你可以只输入一点内容，而人工智能会填补剩余部分。而对于那些拥有具体构想、并希望将其变为现实的人来说，人工智能则更具挑战性，因为你必须想办法与它沟通，让它能够理解你脑海中的想法，而你必须用语言来表达。”未来就在 Vū Technologies 的理念中。摩尔表示：“我们公司的愿景是‘一念之间内容即刻呈现’，对我来说，这是下一代的沟通革新。将语言编码和解码成声音和文字是一种低效的沟通方式，而使用视觉方式来作为沟通层面的能力是世界上最通用的语言。每个人都以视觉感知世界。这种一念之间呈现视觉图像的能力，正是我们在未来十年将会看到的叙事方面的重大革新。”

出处：Trevor Hogg | The VFX Voice

翻译：Katja | 盖雅翻译小组

您可能对以下内容感兴趣：

戴维·斯顿普与吉姆·杰多尔迪克论虚拟制作拍摄

虚拟美术部门专业谈

面向虚拟制作的实时光线跟踪技术介绍