LED 围绕演员，以虚拟布景图像为其布光

基于图像的照明起源

LE D影棚衍生自1998年保罗·德贝维奇（Paul Debevec）发明的基于图像的照明（IBL）这一概念，它指的是，将一个 HDR 图像映射到一个光球上，以此围绕拍摄对象，作为 CGI 中的主要光源。

Light Stage 3（2002）是首个使用 RGB LED 灯阵列围绕演员来创造全向光源的实体布景。尽管它的156个 LED 灯泡对于拍摄特写或反光元素密度不足，但 Light Stage 3 为 LED 影棚如何能够成为一个全向显示设备、为演员呈现环境全景图像奠定了基础。此影棚用于《蜘蛛侠3》（Spider-Man 3，2007）和《社交网络》（The Social Network，2010）拍摄参考素材，以辅助 3D 合成和换脸。2004年，数字王国使用虚拟制作 LED 面板为《本杰明·巴顿奇事》（The Curious Case of Benjamin Button）进行测试。此后，“光盒”（The Light Box）为拍摄《地心引力》（Gravity）而开发出来，同时，《星球大战外传：侠盗一号》（Rogue One: A Star Wars Story，2016）动用了首个环绕式LED墙。

设置

LED 虚拟影棚的墙可以是平面、曲面或马蹄形，还可以包含天屏和活动墙。当设置虚拟影棚时，务必考虑拍摄的要求与目标，这决定了供电要求，需要增减的面板，以及专供技术站、硬件和设备存储使用的镜头之外的区域。没有一体适用的解决方案。LED 墙拍摄需要各个部门周全的准备，一个渲染引擎（Unreal、Unity、Stagecraft、Disguise、Pixera）和一套先进的工作流。

准备

虚拟勘景可通过比如虚拟头显等硬件远程进行。大部分要虚拟勘景的布景已烧入布光，具有性能优势，同时动态布光会实时计算光线，以便进行更改。

运用虚拟影棚需要更大的团队。要让前景和背景间的布光保持连续性，沟通是关键。虚拟世界中的所有灯具都需要进行组织整理和正确标记，因为它们通常模拟的是真实灯组，这些灯组装配了一系列控光附件，比如菲涅尔镜、挡光板等等。

在准备过程中，虚拟灯光师要为影棚预布光，要跟 VAD（虚拟美术部门）团队密切合作。这一步可远程进行，而布光情境可保存下来，在后续的拍摄中重新使用。跟其他形式的拍摄不同的是，要给一个 LED 影棚预布光，有必要准备好你所使用的摄影机和镜头，以及一台经过校正的监视器，因为人眼和摄影机之间存在同色异谱和其他无法感知的伪影。

本质上，你要跟两位灯光师合作 —— 一位负责虚拟布光，一位负责片场现实布光。

虽然 LED 影棚几乎能够360°环绕某个场景，但墙和地板之间的缝隙仍是一个难对付的问题。从摄影机的角度，这种不连贯若没有得到妥善处理，可能会打破连续空间的观感。虽然人眼可能觉得布景地板跟 LED 墙之间融合得没问题，但摄影机里看起来可能是完全不准确的。美术设计在隐藏这类缝隙方面发挥至关重要的作用，要把跟演员自然交互的前景和中景元素无缝融合。要实现良好的融合，可通过抬高布景的地面，并微调影棚布光，以及使用 CCR（色彩校正区域）调节虚拟环境，直至缝隙从摄影机画面中消失。

图像处理

决定工作量和设定处理力参数最重要的因素之一，就是拍摄所需的维度图像处理类型。2D 由采集到的素材档或渲染的图形组成，其特点是恒定视差；因此，摄影机不应该移动。2.5D 是在 3D 空间中以 alpha 通道分配 2D 图层，由此创造出视差的错觉。这是一种极其有效的在创造视差的同时更高效进行渲染的处理。3D 保留了视差，可拥有动态或恒定布光。当现实布景扩展到虚拟影棚中时，最为适用。3D 图像处理要求很高，并会带来潜在的延迟问题，可通过注视点渲染（foveated rendering）或有限的摄影机跟踪解决。所有系统之间的同步对准确的图像采集至关重要；否则，逼真的视觉效果就无法实现。这就需要在推动技术，突破当前局限时做出一些妥协，这可能导致掉帧。

虚拟影棚的中控 —— 即决策吧台（Brain Bar） —— 负责管理所有技术，以将图像交付到 LED 面板上。从前期制作开始，摄影师最紧密的合作者就是虚拟制作总监，这个人要跟众多工程师、操作员和技术人员沟通，包括虚拟美术部门（VAD）。一旦摄影机进行跟踪，并且镜头信息传到图形生成软件，就会在摄影机画面内能看到的区域里创建一个全分辨率图像，那就是视椎体。通过以全分辨率将摄影机可视区域区隔出来，同时以较低分辨率渲染场景其余部分，整体的处理量就可减轻，减少潜在的延迟和其他伪影。

“控制”节点是系统操作的主用户控制。它驱动着所有渲染节点，并通过交付实时数据，比如摄影机位置数据，来把它们同步起来。LED 屏幕单元通常为方形，包含数百个 LED 二极管。每个单元都有一个接收卡，由此通过以太网线从 LED 处理器接收显示信号传输。处理器会把数值映射为正确的亮度水平，并负责正确分配显示的数字内容。

色彩管理

LED 墙色彩管理的目标是在拍摄过程中管理色彩一致性和准确性，让 ICVFX（摄影机内视效）与前景元素（演员、道具等）无缝衔接。

Epic Games 虚拟制作工具团队的首席色彩科学家罗德·博加特（Rod Bogart）表示，在制作管线中保持色彩一致性的最简单的办法就是确保各色彩空间相互匹配。推荐的方式是让两者都处于一个更广的色域里，这样得到的结果才更能代表现实世界的色彩。不匹配的色彩空间会导致视觉伪影，比如色带、饱和度丧失、对比度和色彩偏移。

实时图形引擎会通过使用线性值来计算光影。在虚幻引擎中，最好使用跟现实世界相关的单位，而不是使用随机数，这样当图像发送到 LED 墙时，现实世界的读数才能跟虚拟场景值中的单位构成已知的对应关系。比如，5.3的软件值等于 LED 墙上的 530 cd/m²。LED 是非线性的，所以 LED 输出的动态范围被映射为软件线性曲线。如果，在虚拟世界中，一个物体的亮度是背景的两倍，它就应该匹配 LED 墙。游戏引擎在其渲染中模拟摄影机。被称为“色调映射器（Tone Mapper）”或“摄影机模拟阶段（Camera Emulation Pass）”的最后一步应该略过，以避免通过烧入泛光、暗角、白平衡和自动曝光给图像重复套用 LUT。

LED 规格

更便宜和更亮的 LED 屏幕单元通常用作天屏，而 LED 墙的平均重量约达50 lbs/m²，这就需要恰当的搭建计划（通常由制造商提供）。

Kino Flo 的弗里德·霍赫海姆（Frieder Hochheim）和拉米罗·蒙特斯·德奥卡（Ramiro Montes de Oca）解释，LED 面板的刷新率决定了一台摄影机可采集的最大帧率。比如，要拍摄 60fps，那么一个标准面板就需要刷新率至少达 7640 Hz。要在标准帧率下实现最优效率，则 LED 刷新率应该不低于 3840 Hz。

另一个潜在的问题是扫描率，它指的是有多少 LED 二极管可以同时刷新。高扫描率（比如1/28）会产生肉眼可见的扫描线，或甚至 LED 墙部分区域同步更新，进而导致令人分心的视觉伪影。如果我们有经过大量渲染处理的 3D 背景，那么较低的扫描率（比如1/4、1/1）更好。

二极管的角度覆盖（可视角度）应该至少为170°。超过了一定的极限后，衍射会导致绿色或品红色偏，进而限制摄影机摆放位置。另一个挑战是像素间距。像素间距指的是从一个像素位置到相邻像素同个位置之间的距离。这决定了摄影机到墙的最大可靠近距离。将摄影机置于离面板太近的地方会导致摩尔纹。2mm 间距可实现离墙达13英尺（约4米）的拍摄，而 10mm 间距需要保持65英尺（约20米）的距离拍摄。大部分虚拟影棚通常使用的像素间距为 1.5-2.8mm 不等。当前市面上出现的最小间距为 0.6mm（比如 Planar DirectLight Ultra 0.6），但这样的面板由于刷新率较低，并非虚拟制作的最优选择。

布光

LED 屏最初是作为显示设备被创造出来的，而非当成光源。它们之所以节能是把所耗电能转为了最窄波长，由此产生峰值亮度极高的光，但光线质量不一定很好。LED 并不是线性映射的，也不是全光谱。因为 LED 像素是由红绿蓝（RGB）二极管构成的，因此并不天然存在真正的白。即便 RGB 可以创造出任何能出现的色彩，但如果只用 LED 影棚布光，肤色很容易看起来不对劲。为了弥补 LED 缺乏全光谱覆盖，很多制造商已经把有色光源增加到了最多9个通道，（除了 RGB 之外）引入了白色、黄色、琥珀色、青色和绿松石色。白色最常用，而 RGB 通道很少同时开启。另一种选择是 Brompton Technology 的 TrueLight® 处理器，它通过使用 X 射线发射器来拓展 RGB 色彩范围，将 RGB LED 的色彩范围拓展后可以更好地媲美真正的白。

保罗·德贝维奇进行过多次 HDR 测试 —— 他在实景中拍下演员和色卡的图像，并尝试在虚拟影棚中，在每种 LED 色彩之下，重现那些图像。结果就是，他开发出了一套三矩阵色彩校正法。

首先，对摄影机3×3矩阵应用一个后期制作矩阵，它会改变感光点的处理方式。虽然这改善了色彩呈现，但它会干扰视椎体中的背景图像。修复这个问题的方式就是对视椎体内的区域应用第一个矩阵的逆矩阵，让画面回归它本来应该处于的状态。LED 关闭状态下并不是黑色的，因为大部分 LED 的二极管背后都有一个小反射层，以增加亮度，这还会导致反光和丧失对比度。可应用黑电平校正来实现正确的对比度。

大部分屏幕单元都可以提供5000-6000尼特。摄影师常常只用到这些 LED 亮度的20%或更少，这会产生很大的热量，导致需要更频繁地校正这些面板。一些面板可能会有冷却扇，但拍摄时风扇应该关闭，因为LED 墙本身会形成一个回音室。隔音毯或 DIY 的“回音遮罩”常用于切断回音室反射的声音。由于亮度是由脉冲宽度调制（PWM）控制的，当以那么低的亮度运行 LED 时，二极管通常处于关闭状态，而不会打开。这一点，加上刷新率慢，就会导致闪烁。虽然 LED 可以达到很高的亮度，但它们比不上太阳。如果你使用的是现实世界的 IBL 图像，德贝维奇开发了一种有效的技巧，它通过一种膨胀算法来运行它。首先这会识别出当把图像发送到 LED 面板时所有会裁切的点，然后创建一个足够大的形状以保证该区域的平均像素值低于裁切水平。你不会得到硬阴影，而你的拍摄对象的亮度会接近现实世界。若你需要硬阴影，你仍必须使用电影灯。

LED 面板的组装方式会影响片场排障。一些箱体设计便于替换或移除个别屏幕单元，从而进行布光，而另外一些设计则需要拆除多个组件才能修复一个故障二极管。明亮的窗户和正午的太阳都是虚拟影棚需要避免的，因为面板亮度会衰减。距离 LED 墙近的物体似乎比离得远的物体更亮，而明亮的面板有可能跟前景的硬阴影“打架”。有效拍出户外风格的项目（《遗落战境》《曼达洛人》《龙之家族》《1899》）之所以成功，是因为它们所营造的布光让前景看起来位于阴影中，或对光线做了柔化处理。

使用 LED 墙的一大优势在于，你可以调节背景对比度，模拟不同深度。LED 墙能很好地提供柔和的环境光，非常适合晨昏场景 —— 而这两个时间点在现实中的拍摄时间窗口非常短 —— 还非常适合拍摄反光物体，比如车辆。反光表面可能会暴露 LED 墙覆盖不到的影棚区域，若该表面的弧度够大，可能还会加剧 LED 墙穿帮的可能性，连各个二极管都会被看到。大卫·普罗科特（David Procter，BSC）曾提过把视椎体之外的区域提亮到超过视椎体亮度，以此增强场景环境光。“给虚拟影棚布光就可以动用数字照明卡，比如色块、负补光或甚至移动图形，通过策略性地将它们显示到屏幕上，就能控制布光。”普罗科特补充道，气氛和颗粒（译者注：烟、雾等）有助于将前景和背景融合起来，还有助于隐藏摩尔纹，但可能会导致跟踪数据和对比度的损失。

摄影机与镜头

理想情况下，任何针对项目拍摄进行的摄影机和显示测试都应该用正式拍摄所使用的相同摄影机、镜头和 LED 面板系统来完成。在镜头方面，最好使用定焦镜头，因为它们通常可以实现浅景深。然而，虽然变焦镜头可能只需要校准一次，但换定焦镜头可能就需要额外的校准时间。变形镜头会提供有限的景深，因此有助于保持 LED 背景处于虚化状态，但这种镜头需要更多时间校准。镜头要使用一系列测试表在影棚里挨个映射调试。光学距离、畸变系数和 FIZ 数据会用于更新 LED 虚拟影棚上所显示的环境。有了这一步骤，镜头特性可以得到控制，而焦点会依据镜筒的实际焦点位置而变化。普罗科特建议，为虚拟制作进行镜头映射时，给每个定焦镜头至少留出30分钟 —— 这是筹划准备时间时需要考虑的重要事项，这跟传统电影拍摄很不一样。

摩尔纹是使用 LED 影棚时最常见的问题之一，当两个非常近似的图案相互干扰就会出现摩尔纹。摄影机传感器会跟各个 LED 二极管组成的近似的网格图案发生干扰。为了避免摩尔纹，将景深最小化能有所帮助，具体可以通过使用更长焦的镜头，更大的光圈，对焦距离更靠近摄影机、更远离 LED 墙。传感器越大，景深越浅，产生不希望出现的摩尔纹的可能就越小。

全局快门 vs. 卷帘快门

全局快门摄影机更受青睐是因为所有像素可以同时读出，而卷帘快门传感器每次只读出一行像素信号。在 LED 墙上，卷帘快门可能会导致伪影，比如快速平摇时的斜线，使用闪光灯时的部分曝光，和摄影机俯仰时明亮的水平线，因为摄影机和 LED 都是垂直扫描的。LED 电子器件内需要必要的补偿来避免这种伪影。

同步

显示系统、跟踪系统和游戏引擎全都应该和摄影机同步。原始素材档内容、媒体服务器或回放设备以及为 LED 面板传输信号的处理器的帧率，应该匹配拍摄日拍摄摄影机所得成片的帧率。同步锁相使用脉冲信号在整个系统中同步多个设备，以确保所有单元准确地同时生成或采集到各帧的开始。

子帧

帧间内容重编（frame remapping）技术可以让多台摄影机查看同个 LED 屏上同时显示出的不同内容。通过以项目帧率的倍数运行 LED 墙，摄制组可以把不同内容的帧交错，并同时把它们显示出来。通用的同步锁相信号给每台摄影机发送一个独一无二的相位延时，而每个快门都是同步的，只采集 LED 墙所显示的其中一个交错视频信号。

虚拟背景现在能够以纳秒的间隔显示多个图像，然后它们会跟摄影机同步，以同时采集多个不同背景。GhostFrame 是 Megapixel 的 HELIOS LED 处理平台内的一款软件工具，它可以用于 ICVFX 工作流。对于裸眼而言，图像是显示在墙上的单一持续场景，但对于摄影机而言，一个镜次就能录制多达四个视角，包括跟踪点、色度抠像蒙版、多个布光条件和演员视线的显示提示。这个过程既能采集到一个场景的预期布光，搭配第二个场景的布光，又能采集色度抠像帧，这就让导演可以在后期制作中对背景做出更改，同时保持周围环境的整体感觉。子帧有一个显著的缺点就是，它对计算机处理有极高的要求 —— 必须渲染多个场景，这些场景跟兼容的布光相同步，可能还跟多台摄影机同步，此外，为了在同样的时间间隔内采集每帧的多个子帧，还要对所需的快门角度和录制帧率做出妥协。

虽然全局快门摄影机可以很好地搭配这种技术，但应该给卷帘快门采用更快的曝光时间或更小的快门角度，以避免采集到 LED 墙上的多个帧。

摄影机跟踪

实时摄影机跟踪是虚拟制作跟过去的背投技术有所不同之处，背投依赖的是静态 2D 背景。通过集成实时渲染，虚拟制作让电影人能够随摄影机移动，动态调整背景和拍摄对象之间透视和视差。

外向内光学跟踪系统使用的是围绕指定虚拟影棚放置的、成网络的固定红外摄影机。这些摄影机会侦测此空间内放置的标记，并通过从多机位分析重叠视图来判断其3D位置。常用解决方案包括 OptiTrack、Vicon和 BlackTrax。

内向外的基于图像特征的光学跟踪是另一种形式的光学跟踪，它是把计算机视觉系统和飞行时间深度传感阵列安装到摄影机上。系统生成一个环境的3D点云，并用机器学习在摄影机周围的空间中跟踪摄影机位置。类似 Xbox 的 Kinect 技术，这种方法无需物理标记或跟踪 lighthouse 定位基站。这种技术的主要应用实例就是 Ncam，它以效率和灵活性著称。

基于标记的光学跟踪依靠摄影机上搭载的红外传感器，这个传感器会探测环境中放置的特定标记图案。Stype、MoSys 和 Lightcraft Previzion 等系统使用的就是这种方法。虽然这种方式在受控的影棚环境中很有效，但要在不方便放置标记的户外或实景中应用这项技术的挑战比较大。

基于编码器的跟踪系统使用磁性或光学编码器来跟踪摄影机支撑设备的移动，比如三脚架云台、dolly 车轮和摇臂支承轴。这些编码器会将机械运动转为定位数据，由此判断摄影机在 3D 空间中的位置。集成了基于编码器的解决方案的例子包括 StypeKit、Egripment 和 Technocrane。尽管这些系统需要更多初始设置和校准，但它们能为虚拟制作工作流提供高精度的结果。

摄影机之外，跟踪技术也被应用于跟踪灯具、物体和演员。比如，舞台布光设备可以安装跟踪传感器，把它们的现实位置跟虚幻引擎中的虚拟布光系统同步起来，实现实体元素与数字元素的无缝交互。

演员跟踪也在虚拟制作中发挥至关重要的作用。一个众所周知的例子就是《曼达洛人》（The Mandalorian），其中某些镜头若使用 LED 墙完全摄影机内直拍会过于复杂。为了解决这个问题，项目制作者跟踪了演员的位置，并直接在他们身后放置发光绿幕，这种数字绿幕同时紧密地跟演员的运动和摄影机的位置相同步。他们使用了 OptiTrak 的运动捕捉系统 —— 这是一套外向内光学跟踪系统，因为他们拍摄的影棚已经配备了这套系统。这种技巧在保留了交互式布光的同时确保了干净的绿幕素材，便于后期制作合成。

虚拟制作的未来

LED 墙虚拟影棚有不可忽视的缺点。它们的安装和维护费用昂贵，能耗高，排布缺乏灵活性，随时间推移会产生色偏，阵列越大延迟越大，从而导致混叠伪影，且可能太暗以至于无法实现理想对比度。一定要提前明确虚拟影棚是否是能够满足你拍摄需求的正确工具。

以下是一些可以帮助你解决常见问题的手段：善加利用虚拟制作总监，把这个岗位视为虚幻引擎团队的首选沟通对象；选择全局快门；让 LED 屏失焦虚化；运用浅景深；使用氛围效果（现场效果或屏幕效果）；弥合屏幕与地面的缝隙；使用前景元素；为肤色补充布光；将视椎体延展20-30%，便于在摄影机移动过程中渲染画面；将视椎体之外的屏幕提亮，以增强环境光，等等。周期性地放松眼睛，可以出去走一走，远离屏幕。还可以带一支激光笔，便于在跟自己的团队沟通时准确点出屏幕上或空间中的某个区域。

过去，当实体拍摄杀青时，项目的预算也花光了，于是制片人就得筹款完成后期制作。当项目采用 LED 影棚拍摄时，所有资产必须在前期制作中进行创建和测试；因此，本来专门用于后期的预算在前期就需要投入。因此，同时由于制作时间线延长，长片电影和电视项目最有可能从使用虚拟影棚中获益。

制作节奏和预期的这种改变助长了一些制片人对虚拟影棚拍摄的回避。此外，制片厂常依赖于色度抠像素材，这样在后期合成背景的时候，可以有更多修改空间 —— 成本也更高。因此，很多近期的项目纷纷回归拍摄传统蓝绿幕，这么一来，从预算制定到成片交付，片方会对工作流更熟悉。

LED 墙、传统灯具、摄影机传感器和处理器、空间跟踪器、3D 渲染、素材档的采集和应用以及电负荷，这些元素背后的固有问题和局限性都需要耗费大量时间和成本来处理，这会影响摄影师的创作意图。虚拟制作成本高昂，颇具挑战，因此要使其应用变得合理就需要严肃而有意义的进展。所幸，一项技术进步带来的综合结果会对虚拟制作管线所涉及的各个元素带来涟漪效应。

虽然行业中一部分人正在回归传统蓝绿幕，但还有一部分人正在通过引入激光荧光体投影仪取代 LED 墙的方式进入了虚拟制作的新阶段。激光荧光让经典的背投流程重新回归，但它有几个秘密武器。激光荧光是使用 DLP 数字光投影系统产生的一种固态光。一开始激光是一束蓝光，大约 445nm，它会照在涂覆有黄色荧光体的转轮上，蓝光在那里会透过滤镜，但会创造出一束新的黄光。这个黄色光束随后使用分光涂层分为红光和绿光。通过利用这个过程，红绿蓝光束在成像面上发出白光，其效率和亮度都大于 LED 面板中的标准二极管。激光投影仪还可以容纳光发射体的结合，比如将蓝色与红色激光相结合，或者把 LED 跟激光荧光体相结合。一个简单的 DLP 芯片平均超过20000流明，一些型号可达32000流明，而相较之下，LED 面板只能实现8000-9000流明。其次，投影仪可以组成阵列，其可变映射能够贴合三维图像表面，由此让投影效果跟影棚内的实物相集成，在它们表面投影出素材档图像或色彩。引入这些新的激光技术能在设备的排列与操作上提供新的灵活性，更节能，增强对比度，并继续跟新的技术流程相集成，比如子帧采集。

出处：Luca Cioci、Charlie Flitton、Wara Pornkulwat、Victoria K. Warren | FILMMAKER

翻译：LorianneW | 盖雅翻译小组