Project Arena 是个大好机会，能将虚拟影棚内的各类事物提升至全新水平。——诺亚·坎德纳（Noah Kadner）
本文所有插图均由 Chaos 提供
本文最初发表于《美国电影摄影师》杂志2024年11月号
摄影机内视效（ICVFX）的一个重要方面是实时渲染引擎。这类软件可实时渲染呈现虚拟环境，让在摄影机内拍摄这些虚拟环境成为可能，且其必须以24 fps 或更快的速度下真实进行。它还需要对有关摄影机机位的跟踪数据做出响应，以生成真实的视差。
理查德·克鲁多（Richard Crudo，ASC）最近与视效艺术家和软件开发人员合作，制作了一部名为《光线跟踪FTW》的短片，作为3D 可视化公司 Chaos 的新实时渲染器“Project Arena”的演示。（“FTW” 是互联网俚语，直译为“必胜”。）Project Arena 使用 Chaos Vantage 做渲染 —— Chaos Vantage 是个实时版本的 V-Ray，一种光线跟踪渲染器，广泛用于后期制作动画和视效。虽然光线跟踪是数十年前问世的 CG 渲染标准，但直到最近，技术才进步到可以在一个 LED 墙那么大的“显示设备”上实时运行。
光线跟踪 FTW 的重点是完全使用光线跟踪技术拍摄 ICVFX 项目，而不需要降低帧率或以其他方式下调墙上的图像分辨率，以避免处理器过载。
这部短片是对经典西部片的戏仿，是集结多位视效领域名人的肖像式电影原型，并对视效领域的历史做出了元评论。其中一些视效大拿也在这个项目中担任过其他关键职位，包括导演丹尼尔·索伦、执行制片人弗拉基米尔·科伊拉佐夫、制片人兼视效总监克里斯托弗·尼科尔斯以及编剧索伦、尼科尔斯和埃里克·斯基尔。
“在此之前，”克鲁多表示，“我在虚拟制作方面的经验仅限于对视频实拍原档和行车镜头使用LED墙。那是对绿幕的一次改进，因为它让你能够平衡色彩和曝光，而不必依赖于后面再完成的视效。Project Arena 是个大好机会，能将虚拟影棚内的各类事物提升至全新水平。在这个过程中，我学到了很多东西，感觉自己处于这项技术的前沿。”
力量转移
光线跟踪模拟光线与物体表面的相互作用，产生反射、折射和阴影等超级逼真的效果。这与一种叫做光栅化的技术形成了鲜明对比：光栅化一直以来都是渲染引擎的主要基础。它通过近似布光来优先考虑速度。尽管光栅化技术在实时性方面表现出色，但它无法达到光线跟踪所具有的真实感水平，特别是在复杂的布光和反射情况下。因此，针对 ICVFX 的实时光线跟踪技术出现并不令人惊讶 —— 另一个恰当的例子是Unreal 开发的 Lumen。
实时实现高分辨率光线跟踪的挑战在于，一个灯具可以有数百万光线，而这些光线通过多个物体表面的反射和折射进行跟踪，相当于每个光线要进行数亿次计算。因此，光线跟踪一个有数百个光源的环境 —— 也就是数十亿个反射和光线——会导致处理器超载，除非帧率降低，以及/或者把图像分辨率以某种方式降低。
尼科尔斯是 Chaos 实验室特别项目的负责人，也是 Project Arena 的带头人。
他解释说：“我一直对光线跟踪很感兴趣，它比大多数渲染工具更能接近光在现实世界中的状态——那就是Chaos 的 V-Ray 渲染器所做的工作——但它的计算成本太高，实时实现起来很复杂。而之后，在2023年，Nvidia 发布了一种用于光线跟踪的新型AI去噪点技术，忽然就让我们手头正在做的项目的进化速度达到了一个全新水平。这让我们开始探索LED墙上的实时光线跟踪。”
Project Arena 利用了这种新的实时光线跟踪能力，“使用了机器学习算法和Nvidia的深度学习超级采样（DLSS）算法版本3.5。”詹姆斯·布莱文斯（James Blevins）说道——他是这部短片的虚拟制作制片人（和演员）。有了这个系统，高分辨率的、采用了光线跟踪的虚拟环境在LED影棚中可以以24 fps 及以上帧率显示，同时还能在没有来自大量光源，“或来自3D 场景复杂性”的性能问题的情况下，动态地做出反应。
“在与理查德一起测试的过程中，我们在虚拟环境中非常快速地移动光，”索龙回忆道，“在这种技术版本出现之前，如果不重新烧入环境，就无法实现这种效果——这会造成很高的延迟。即使在现实世界中，在片场更换布光至多可能会需要30分钟。但有了这个解决方案，理查德可以要求改变背景光线，而改变会立即发生。”
克鲁多补充道，“作为一个额外好处，你现在可以在虚拟影棚中隔离物体了。我们的镜头之一展示了LED墙上图像中的一处建筑物的柱子。相对于相对保持中间状态或较低调的其他事物，它是高度过曝的。当我向 Chaos 的联合创始人兼执行制片人弗拉多·科伊拉佐夫（Vlado Koylazov）指出这个问题时，他立刻将其下调。然后柱子上的细节就回来了，和镜头得其余部分也匹配了。这真是令人大开眼界。”
尼科尔斯注意到另一个与常规不同的 Project Arena 元素：“虽然我们仍然使用视锥渲染来为画面内的材质产生摄影机视差，但我们是一次性渲染整个图像，而不是将背景和视锥分开合成，这样视锥外的材质就会以相同于其中图像的高分辨率出现。一次性渲染确保视锥内的图像始终处于完美的分辨率，无论其大小，不会拉伸像素。这样完全经过光线跟踪的图像会横贯整个场景，而这使我们与其他人的典型处理方式有所不同。”
像艺术家一样思考
克鲁多和他的团队用了三天时间拍摄了一段10分钟的西部片，里面充满了各种角色和动作段落，包括一场火车追逐戏。“我当时最大的担忧是，这个虚拟影棚的的运作效率会有多高。”他回忆道，“我知道我们的前景元素很容易控制，但虚拟影棚能够满足拍摄需求吗？最后我们连一点小故障都没遇到。这很了不起。”
与传统的后期制作 VFX 相比，索龙对这个过程以及它为导演们提供更优拍摄管线的潜力也非常有热情。“当你把创意决策推迟到后期制作时，那会阻碍拍摄，因为你不知道最终得到的会是什么。”他表示，“你不再像一个艺术家那样思考，而是开始像一个为管线收集数据的人那样思考。通过虚拟制作，理查德可以准备好一个镜头，而我可以透过光学镜头看到一些我甚至没有意识到我们可以拍下的东西。你会得到你梦想得到的画面，而不是等着看后期制作时会发生什么。”
可重复使用的资产
Project Arena 的另一个值得注意的特点是，它提供了一个使用传统3D 软件所创建资产的简单流程。
这意味着使用 Maya 或3ds Max 等软件制作的图像“可以发送到 Project Arena 进行虚拟制作，并继续在先前的软件中用于后期制作，”尼科尔斯说道，“你会为两者使用同样的资产。”
“在后期，我们察看了一整段发生在火车上的段落，而场景中显示在LED墙上的环境所使用的资产和我们在后期制作中使用的是一样的。”尼科尔斯继续说道，“这意味着艺术家在后期制作中打造的新镜头与原本的拍摄具有相同的布光和资产。此时对画面该看起来什么样就没有疑问了，因为模型是相同的，而我们知道前后会互相匹配。这简化了整个过程，而且看起来很棒。”
分开镜头
随着《光线跟踪FTW》的上线（你可以在文末视频中观看），克鲁多有机会反思电影摄影师在虚拟制作中所扮演的角色。“电影摄影师本职工作的本质没有任何改变——你仍然得根据你试图营造的情绪，采用令人信服的布光。而首先要考虑的是 LED 墙、摄影机传感器、显示设备和后期制作公司之间的色彩管理。所有这些在前期准备期间都需要更多关注，需要进行测试和筛选。”
“一旦你把所有这些元素和团队聚合到一起，你几乎可以自由地做任何你想做的事情。等一切都设置妥当，这就是一个绝对理想的、和容易上手的工作配置了。虚拟制作不是会让任何电影摄影师望而生畏的东西。”
尼科尔斯补充道：“‘数字孪生’的概念在 CG 和技术领域已经被广泛使用，而在这个案例中，我们正在打造一个电影摄影机的数字孪生。光线跟踪和摄影机看到光的方式是一样的。Project Arena 可以是任何有数字孪生的东西：它不仅仅局限于 LED 虚拟影棚。如果你正在制作一部全 CG 电影，你也可以得到一个虚拟摄影机——它的运作会和真实的摄影机一样。”
下面是完整的 Chaos 《光线跟踪FTW》演示视频：
出处：Noah Kadner | 美国电影摄影师杂志
编译：Charlie | 盖雅翻译小组
