Netflix 虚拟制作指南 —— 常见的虚拟制作挑战与可能的解决方案

影视制作

本文将探索在使用虚拟制作技术时项目可能面临的常见挑战,指出诊断问题的方式,以及提出可能的解决方案。想了解与这些挑战和虚拟制作技术相关的术语词汇,可参看虚拟制作词汇表

此外,Netflix 制作了一系列讲解视频与课程,旨在为从业者提供有关虚拟制作方法的宝贵见解。

目录

常见挑战

●色偏

●色带

●内容色彩不匹配

●光学摩尔纹

●图像混叠伪影

●压缩块效应与噪声

●回放延迟

●频闪(多路复用)

●光晕/边缘伪影(边缘衍射)

●反光

●声音

色偏

由于 LED 面板当前的打造方式以及光线表现的基本原理,相较于肉眼所见的效果,当通过摄影机查看图像内容时,内容可能会出现色偏。这种色偏可能会对 LED 墙产生整体影响,也可能只影响 LED 墙的一部分。色偏可能是静态的,也可能随时间发生变化。

诊断

要诊断此问题,最好的办法就是使用摄影机(就算肉眼能看到色偏也最好依靠摄影机)。若此问题只出现在摄影机位于离轴位置上时,那意味着,摄影机超出了 LED 屏的最佳可视角度。可通过 LED 屏参数表检查这一点。若摄影机直对着/垂直于 LED 屏,并且色偏均匀地出现在整面 LED 墙或 LED 面板的一部分,那么这种色偏可能是由于过热引起的。这种情况会在屏幕运行过久时发生,有可能是明亮的内容在屏幕上显示过久,也有可能是屏幕的散热/传导不良。

可能的解决方案

若色偏的成因是摄影机机位离轴,但又无法把镜头变更到轴上,那就尽可能试着平摇/俯仰调试 LED 屏,让它更平行于摄影机传感器。具有更大可视角度的 LED 面板也可以解决此问题。

要判断面板是否过热,大部分 LED 处理器可以告知你各块LED面板的温度,甚至能精确到 LED 墙局部的温度,可以考虑把屏幕关闭一段时间,把面板熄灭/渐暗,或在镜头拍摄间隙或拍摄过程中自然休息期间将面板的整体亮度调低。

色带

当内容色彩不准确的呈现造成相同色彩的不同色调之间产生突变而非柔化的过渡,就会产生色带。这通常是由视频管线和/或内容的低位深导致的。

诊断

为诊断此问题,先从源媒体入手。然后,确保从内容播放器到图像处理器到面板的信号链在整个管线中保持目标信号位深。

通常最低需要 10-bit 才能避免色带,可以在 OpenVPCal 当中生成一个合成测试图案,以测试从媒体服务器到 LED 墙的成像链的位深。

测试图案中出现任何色带即表明,该信号链未实现端到端的10-bit。

可能的解决方案

若问题是由媒体素材导致的,那么可能的解决方案也许是更改编码编解码器,或者是增加其比特率或位深。

若问题出在视频管线内,那就可能需要在你的内容播放器或图像处理器上进行一些设置改动。你还可能需要更换硬件以保持正确的位深。

在这两种情况下,可能的解决方案还可以是在内容中引入 RGB 抖动。

内容色彩不匹配

图像链中有多种元素会影响内容在 LED 墙上看起来是什么样的。通过摄影机看到的图像状态几乎总是跟我们预期的有出入。这可能是以下两个主要因素导致的:1)对于内容应该看起来是什么样有错误预期,或2)色彩管线设置故障(色彩管线的设计目的是为了让内容在摄影机上看起来如预期)。

内容色彩不匹配问题通常落在以下三个范畴之一:

•图像出现显著的色相偏移,这大部分是由内容色彩空间校准不正确或错误解读导致的。

感知有误的对比度,这大部分是由伽玛(EOTF/OETF)不匹配导致的。

•阴影或高光的压黑/裁切值

•对比度欠缺和泛白的暗部

•过饱和或欠饱和的色彩,这主要是由色域/色彩空间不匹配导致的

诊断

预期是最关键的事情:LED 墙必须被视为光线发射体而非显示设备。两者间的差别在于,观察者并非我们的眼睛和大脑,而是摄影机,且摄影机对光线的反应方式与人眼视觉系统不同。这是由于同色异谱故障,这是一种基于同色异谱概念的现象。

摄影机的同色异谱故障很容易发现,因为此类问题主要存在于摄影机“看到”的画面里。若色彩不匹配也是肉眼可见的,那么成因可能就不是图像链中的摄影机。

请注意:若图像肉眼看起来不对,但摄影机上看起来没问题,那么无须担心!此时成像是成功的,因为你已经在摄影机上达到了所需的同色异谱!

若图像在摄影机上看起来不对,并且人眼效果也很糟,那么问题可能就出在以下其中一个元素里(从内容到摄影机):1)内容色彩元数据;2)媒体播放器;3)图像处理器;4)LED 墙校准;5)LED 墙的白点 vs. 场景布光和相对摄影机白点;6)摄影机色彩空间。

深度管线诊断

端到端对这些管线进行诊断可能颇有挑战性。这些操作相当复杂,因为我们使用了好几种不同的设备。诊断流程最好分成两半:首先,不带拍摄内容进行一次基本的往返排查,以确保端到端成像链有效。

一旦确定并认证了这一点,且未出现伪影,随后我们就可以上升到内容本身的详细诊断。

有些诊断模式可以生成为 OpenVPCal 的一部分,以辅助发现和诊断大部分常见问题。

当确立了基准之后,就可以往下继续检查针对内容的问题,要检查以下几个方面:

1.内容:试着在不同系统或媒体播放器上回放内容,若内容看起来达到预期效果,则继续下一步。

2.回放系统:若你的内容播放器未正确解读你的内容色彩,那是可以在媒体播放器的UI中发现的。通过把信号直接接入一台监视器(正常来说,传输协议是 HDMI、DisplayPort 或 SDI)也有可能(且更准确地)解读媒体播放器的输出信号。若信号看起来没问题,则继续下一步。

3.图像处理器:图像处理器使用运载协议和接口(如 HDMI 或 DisplayPort 线缆)带来的元数据标签确定如何处理输入色彩。要确保这些与你预期的色彩空间和转换函数相匹配。建议手动设置这些,而不要使用任何自动/从输入设置。

4.LED墙:若你的 LED 墙已校准,要确保目标校准状态与图像处理器的预期输出相匹配。此外,要确保 LED 屏的白点匹配内容白点(通常是 D65)。

5.光线与摄影机设置:若场景由片场的其他光源布光,而那其中一些灯具需要被摄影机感知为白光源,那么摄影指导(DP)很有可能要将摄影机白点偏移来匹配其中某一盏灯。若那个白点跟 LED 墙的白点完全不同,那么感知到的图像就会看起来有色偏(比预期偏暖或偏冷,有时候还偏品红或偏绿)。

6.摄影机色彩空间:如果摄影机传感器与LED 墙之间已完成了校准流程,那这很可能是基于摄影机的特定色彩空间而进行的。若该色彩空间发生变化,那么校准结果就可能不准,而色彩看起来会不正确或不一样。若你还未进行摄影机到 LED 墙的校准,那么几乎可以肯定,摄影机观察 LED 墙的结果会跟人眼观察结果不同。Netflix 已将一个叫做 OpenVPCal 的工具开源,它旨在通过一个校正 LUT 纠正这一点,但市面上确实存在其他工具。

可能的解决方案

若肉眼觉得 LED 墙的内容看起来正确,但摄影机上看着不对,那就是因为同色异谱故障。解决方案就是对内容色彩做偏移,为的是让它在摄影机上看起来正确(而人眼看起来可能就不对了)。你既可以做创意性色彩偏移,也可以以数学运算的方式,通过标准色彩转换运算符,比如 3D LUT,应用到 LED 墙上播放的内容上。

若问题出在内容端,那么可能就需要重新渲染内容,或重新导出内容,或更改元数据以反映正确的色彩指令。

若问题出在媒体播放器端,解决办法可以是:强制内容播放器解读正确色彩;或最糟糕的情况下,更改内容以匹配内容播放器可解读的状态。

若问题出在图像处理器,那么大多数情况下,处理器上的色彩标签是可以更改和覆写的。若无法做到这一点,那么内容和内容播放器输出应该相应做出调整。

若问题出在LED墙校准,那么 LED 供应商可能需要重新进行校准。这可能会花一些时间,且一旦 LED 面板在虚拟影棚中设置和安装好后就不太可能重新校准了。请确保 LED 屏在安装前已校准。若校准已完成,但并不匹配内容色彩管线(且不可能进行新一次校准),那么你应该相应改变你的内容色彩管线。

若问题在于布光差异和摄影机白点,就改变 LED 墙白点去匹配摄影机白点(尽管并不建议这么做),或改变内容白点去匹配理想白点(可以通过调色工具进行,或者在渲染之前或在媒体播放器上,对内容应用色彩转换)。另一个选择是更改片场的布光白点以更接近和更匹配内容白点和 LED 管线。

若问题出在摄影机设置,请恢复成摄影机校准期间使用的设置,若无法这么做,则可基于这些新设置进行一次新的校准。

光学摩尔纹

摩尔纹是一种图像伪影,当两个精细的图案相互干扰时就会产生。当拍摄 LED 墙时,LED 面板上的发光二极管所创造的图案可能会跟摄影机传感器感光点的图案有冲突,由此形成视觉伪影,比如色带和多色的阶梯状伪影(一种混叠形式)。

诊断

摩尔纹伪影只能通过摄影机看到。事实上,只有当图像管线和拍摄设备的所有元素都到位的情况下,这些伪影才能被准确诊断。摩尔纹图案受到多重因素影响(按图像链排序):a)LED 面板像素间距;b)LED 墙和摄影机之间的任何玻璃、浓烟、色纸或绸布;c)摄影机到LED墙的距离/角度;d)拍摄镜头和/或滤镜套装;e)镜头光圈和焦点以及所得景深;f)摄影机传感器结构及其光学低通滤镜(OLPF)。

肉眼可能可以看到一些摩尔纹,但那跟摄影机看到的不一样(查看图像混叠伪影进一步了解这一点)。摄影机、镜头、滤镜和任意以上元素的其他组合都有可能看到一些摩尔纹,但当以上任意元素改变时,看到的状态可能都会不一样。

由于多重因素,我们不可能准确地预测摩尔纹到底何时会发生,这再一次例证,虚拟影棚的准备时间至关重要。

可能的解决方案

解决摩尔纹伪影的所有可能的解决方案都会对拍摄带来衍生影响。最佳的快速解决方案就是减少景深,这样背景 LED 图案就会虚化,由此减少或消除干扰。

另一个建议可能是找一个不同的角度去拍摄 LED 墙,或改变摄影机和 LED 墙之间的距离。小到 1cm 的移动距离或只有1°的角度改变就足以消除摩尔纹。

一种终极解决方案就是改变 LED 墙的像素间距,但要注意,若选择更小像素间距确实会改变(且大多数情况下能减少)这个问题,那么它可能无法“根治”这个问题,或有可能带来一些副作用(比如 LED 屏整体亮度性能有所下降,增加 LED 成本和能耗,不同的/增加的分辨率,等等)。当在其他机位或影棚角度拍摄时,摩尔纹很可能再度出现!

图像混叠伪影

类似于摩尔纹,与图像相关、会影响内容的伪影有好几种。其中一些属于混叠伪影的范畴。这种伪影会以锯齿状/阶梯状线条的形式出现,它们围绕在你内容某些元素的边缘,或存在于高对比度线条之间,和/或你注意到你的内容中有应该不一样但却难以区分的信号。这些可能是图像管线中的采样问题(放大或缩小)导致的,尤其是在内容播放器中,或从内容播放器到 LED 墙(尤其是在图像处理器中);也有可能是内容创作质量不佳导致的:图像拍得不好或图像质量很低,拍摄/渲染分辨率低,或调整滤波器效率低。

诊断

跟摩尔纹不同的是,这些伪影是人眼直接可见的。事实上,相较于通过摄影机看到它们,肉眼更容易察觉这些伪影,所以先通过摄影机确认这确实是个问题!为了诊断问题由何而来,首先要做的是确保提供给内容播放器的内容并没有这些问题。如果没有这些问题,接下来要尽量确保所提供内容的分辨率匹配内容播放器的目标输出分辨率以及 LED 面板的目标分辨率(比如,内容为 4K,内容播放器输出 4K,图像传输给 LED 墙一个 4K 的部分)。问题可能出在,内容和内容播放器系统试图填充的画布之间分辨率不匹配,因此播放器才对内容应用了实时缩放(放大或缩小)。内容播放器和图像处理器可以实时缩放你的内容,但大多数情况下,缩放算法不会非常高端,因此这就可能带来一些伪影。

调整映射,让1个像素映射到LED墙上的1个发光二极管,并评估混叠是否已消除,大概率会消除的。

可能的解决方案

若问题出在原始内容中,则回到其创建链,并确保那里没有问题。这可能涉及以更优缩放算法重新渲染内容,或应用滤波器改善源图像质量并限制伪影(原本的素材拍摄质量就不理想的时候常发生伪影)。

若以1:1的比例查看图像时,内容未出现错误,那么可能是内容和图像链的某些元素之间存在分辨率不匹配。理想情况下,所创建的内容会填充/适配你的LED墙。有时候这意味着,你必须以极大而不寻常的分辨率制作内容,和/或必须将内容分割为多个画布才能符合投影要求。尽量不要在内容播放器内或图像处理器内应用任何实时缩放。

若内容匹配预期分辨率,那么问题可能就是由内容播放器向图像处理器(或在图像处理器内)进行输出缩放导致的(比如,内容为4K,内容播放器显卡输出1080p,LED 墙分辨率为4K)。若问题是这个,那可以试着改变内容播放器的输出分辨率,或找一个不同的播放器。

压缩块效应与噪声

类似色带,这些伪影主要是由压缩导致的,它们显示出来的样子是内容上肉眼可见的“方块”。

诊断

为诊断这些问题,先检查源媒体。若源媒体没问题,就沿着管线向下游检查,以确保从内容播放器到图像处理器到 LED 面板的图像链一路保持着目标信号。再次说明,OpenVPCal 的诊断测试图有助于信号检查。

可能的解决方案

若问题出在媒体素材上,那么可能的解决方案也许是更改编码编解码器,或者是增加其比特率或位深。

若问题出在视频管线,那就检查你的内容播放器或图像处理器的设置。另一种解决方案是更换硬件以保持正确的位深。

在这两种情况下,可能的解决方案可能是在内容中引入RGB抖动。

回放延迟

实时(或以想要的帧率)回放内容的问题可以有众多成因,通常跟内容回放服务器和/或媒体素材有关。常见的成因包括:编解码器的选择、分辨率或显卡性能。

诊断

大多数情况下,问题来自内容播放器。首先,检查内容编码问题(若把素材逐帧播放,每帧之间应该没有跳跃,帧检测图会有助于判断这个问题)。若素材在内容播放器上顺畅播放,那就在图像处理器上检查问题。接下来,检查编解码器和内容分辨率是否匹配内容播放器的参数。

可能的解决方案

若问题在于内容播放器的回放性能,且你无法更改硬件,那就考虑将内容的编码编解码器改为另一种针对内容播放器经过优化的选择。你还可以降低分辨率或增加压缩率,但要注意,这可能导致其他问题。

频闪(多路复用)

像这些视频伪影主要表现为 LED 墙上能看到的周期性亮度变化。这些伪影看起来就是垂直或水平出现在 LED 墙上的深色静态条纹,它们还可能以不同速度的滚动条纹或明亮条纹的形式出现。

诊断

为诊断这些问题,最好的办法是用人眼观察。若你肉眼能看到 LED 墙上的频闪,那可能是供电问题。若频闪是能在摄影机内看到,那可能是由同步锁相不匹配/管线内部问题或 LED 面板多路复用驱动较慢导致的。先检查管线的所有元素(摄影机、内容播放器、图像处理器)是否正确接收和接受了同步锁相信号。若频闪是静态的(屏幕上固定的深色条纹),那它可能取决于摄影机的快门速度 —— 它应该跟屏幕的频率和相位相同。若频闪只有当快速移动摄影机时才出现(尤其是上下俯仰移动),那它可能是由LED墙刷新率慢或多路复用导致的。图像处理器的刷新率也可能是一个因素。  

可能的解决方案

若问题是出现了动态/移动的频闪,那就要确保同步锁相发生器传输着管线的每一个元素。有时候这些可能是无线连接的,但大多数情况下,是通过 HD-SDI 连接的。

若问题是刷新率慢,那就检查图像处理器和你的 LED 能否以更高频率运行(但务必确保此频率始终是基础同步锁相频率速度的倍数)。就算内容播放器只能以基础同步锁相速度运行,图像处理器还是可以通过把每帧相乘来提升刷新率速度而不丢失同步锁相。

若问题是静态频闪(黑色条带),那就检查摄影机快门速度是否匹配(或成倍于)基础同步锁相刷新率(比如1/48秒=48Hz=24fps),和/或调整摄影机传感器扫描相位直至线条消失。

若你能看到频闪问题,就要确保LED面板有足够的供电,确保面板之间的串连没有让可用带宽过载,还要确保LED墙的增益没有过低。

若检查了其他一切之后仍出现频闪,那就确保面板以全亮度运行,且内容不要太暗。

发光二极管并不会变更亮和更暗,它们只是在刷新(开/关更快和更慢)。LED面板还是以从上到下的顺序一行行打开和关闭来进行刷新的,这一行为以扫描率来表达。8:1、12:1、16:1。即打开的 LED 行数为1时,对应的关闭状态的 LED 行数。

当 LED 面板太暗时,高扫描率和低 LED 刷新率的组合就足以让 LED 墙跟快门速度稍微有些不同步。

每个 LED 面板在出现这种伪影(多路复用区)前,都有独有的亮度水平下限。这种情况下唯一的解决方案就是增加内容/处理器的亮度,强制让发光二极管以足够快的速度刷新,突破多路复用区。摄影团队随后还需要提高布景的物体照明,并在摄影机下调光圈 stop,或使用 ND 滤镜。

光晕/边缘伪影(边缘衍射)

在 LED 虚拟影棚拍摄时,LED 墙前的物体边缘周围可能出现类似光晕的轮廓,可能是在演员周围,也可能是在布景物体周围。这种光学现象叫做边缘衍射(edge diffraction)。

当高度平行的窄带光源(比如 LED 墙所发出的那种光源)经过物体,且它在到达摄影机镜头的路径上几乎没有中断,一直保持高度平行状态,就会发生边缘衍射。这种现象不仅跟 LED 墙有关,还可能发生在发光方式高度平行的任意窄带光谱光源上。

诊断

这种效果通常只出现在从虚拟影棚查看摄影机素材的时候,所以再次强调,通过摄影机检查内容很重要。监看设置越高端,这种问题越有可能被发现。

可能的解决方案

没有方法可以阻止物理光效的发生,但要减少或阻止摄影机里发生这种显现,我们可以做的有几点。

对光线到摄影机镜头的路径稍加干扰就足以解决这个问题。

1)在 LED 墙和摄影机之间增加一些氛围效果,比如烟雾或干冰。

2)高端定焦镜头更容易受到影响,在拍摄之前提前让镜头稍微失谐就能有助于柔化整体图像,并干扰光线到传感器的路径。

3)变形镜头也比较容易对光线路径造成更多干扰,从而以相同的原理减轻这个问题,但要切记,变形镜头会带来它自己的挑战。

4)具有大部分相同色彩值的内容会生成具有相同值的光。内容里的色彩越多样,这个问题的发生几率就越小。显然,特定内容类型,比如雪山,它出于创意原因,主要是白色的,因此拍摄全程正确管理内容至关重要。但是,这仍可能导致一些挑战,因此要特别注意。

反光

一些 LED 屏为哑光表面,而一些是亮面。后者可能会导致演员、道具、布光反射在 LED 屏上,并且可能让暗部看起来泛白。

诊断

在 LED 屏上播放一个静态的黑色测试图会比较容易找到物体会在哪里反光。虽然最好是在任意已知机位的摄影机上查看效果,但你也可以靠肉眼观察。

可能的解决方案

用黑旗把物体和灯具隐藏起来,增加所拍摄 LED 屏的亮度以隐藏问题,和/或降低辅光 LED 墙(非摄影机视锥体范围内的 LED 墙)和/或场景中其他实体灯具的亮度。

声音

当在 LED 虚拟影棚进行拍摄时,LED 墙的硬表面可能会把声音四处反弹,从而造成问题。

诊断

片场的声音部门可以快速判断这样是否会造成问题,所以要确保声音部门在开拍前进行勘景。

可能的解决方案

为避免此问题,可以扩大演员周围的空间,并移除部分 LED 墙以限制声音反弹。若无法或不方便那么做,则可以给片场增加隔音表面,以打破声音反射。


出处:Netflix

翻译:LorianneW | 盖雅翻译小组

views
影视制作
纽约:拍摄“大苹果”的电影摄影技巧

〖更新至4-6〗说起纽约,多少部长片电影和电视剧在你脑里浮起?

影视制作
现场演出活动中的 VFX:领略视觉盛宴

〖更新至1-10〗现如今的视效应用在舞台演出上的频率比以往任何时候都更高。

影视制作
AI 创作者系列:本·韦斯特与情绪 AI

〖更新至3-4〗当你使用人工智能时,确保人的元素存在是一件困难的事情,但作为讲故事的人,我认为这正是我们和观众渴望的。