本白皮书最初发布于SMPTE 2023媒体技术峰会。经电影与电视工程师学会（SMPTE®）许可转载。© 2023电影与电视工程师学会（SMPTE）。
摘要
LED墙早已成为众多媒体与娱乐应用中场景设计里十分重要的一部分，但LED墙同时越来越多地被用于虚拟背景和类似应用中。
然而，当结合摄影机应用时，会出现若干挑战，让拍摄难以实现最优效果。一个基础性问题就是，LED墙和摄影机内的图像传感器使用的是各自的一套像素结构，这就导致在某些情况下，两种结构会相互干涉，因此，依据应用，必须避免特定摄影机位置和图像设置，而这转而可能导致图像合成中一些不必要的限制。对于给定的LED墙，使这种潜在干涉最小化的方式比较有限，但在摄影机这端，有几种方式可以通过优化的光学预滤波（pre-filtering）得到可能得到的最佳结果。然而，问题的复杂程度主要取决于所使用的摄影机技术。三种颜色都有相同分辨率的摄影机能提供显著更多的可能性，来根据具体情况实现可能实现的最佳光学预滤波。
再者，新应用，尤其是VR和AR中的LED墙以提升的帧率操作的情况下，给图像采集技术带来了全新挑战。对于这些挑战，至关重要的是，摄影机中的图像传感器要有全局快门，因为这是在短时间曝光中能够同时曝光和读取所有图像元素的唯一方式。此外，尤其是在摄影机端，是有可能更顺畅且简单地将摄影机集成到拍摄制作环境中的。举例来说，可以通过一些新功能，比如在图像传感器和信号处理之间应用延迟电路，变换曝光时刻来实现这一点。
简介
电视项目的场景设计，多年来使用过各种类型的屏。最初应用的是阴极射线管（CRT），这种材料后来被等离子和LCD屏或基于LCD的投影所取代。
使用CRT屏的时候对摄影机技术也造成了挑战，尤其是在同步监视器信号与摄影机的问题上。以前时常产生伪影，尤其当多台监视器采用不同步的源，或监视器帧率与摄影机采集帧率不同时。一些等离子监视器使用的是独立于信号源的帧率，结果得到了很类似CRT监视器与摄影机帧率不同的干涉图样（interference pattern）。当采用基于LCD的监视器拍摄时，由于图像重现中的伪影，整体问题少了很多。
然而，今天的LED屏（图1）几乎都是在场景需要时专门用来充当虚拟背景。当结合摄影机应用时，这就造成了若干挑战，常让拍摄难以实现最优效果。
LED墙
一个基础性问题就是，LED墙（图2）和摄影机内的图像传感器（图3）使用的是各自的一套像素结构，这就导致在某些情况下，两种结构会相互干涉，因此，依据应用，必须避免特定摄影机位置和图像设置，而这转而可能导致图像合成中一些不必要的限制。
LED墙的类型很丰富，可以满足各种各样的需求，应该有不止一种版本的LED墙可以满足大部分应用，实现最优图像效果。
原则上，像素间距越小的LED墙总会越受青睐，但同时要考虑填充因子（fill factor）（图4），填充因子越大往往呈现效果越好。
然而，墙的面积相同时，像素间距越小也意味着分辨率越高，这转而需要来自图像传感器的更多处理。因此，有时候无法选择不受任何限制的LED墙，因为所需尺寸的LED墙可能没档期，或者更简单粗暴的理由，是由于成本太高。
对于给定的LED墙，使这种潜在干涉最小化的方式比较有限。但在摄影机这端，有几种方式可以通过优化的光学预滤波得到可能得到的最佳结果。然而，干涉问题的复杂程度主要取决于所使用的摄影机技术。三种颜色都有相同分辨率的摄影机，相较于只有一个色彩滤波阵列的单一图像传感器摄影机，能提供显著更多的选择来根据各自情况实现可以实现的最佳光学预滤波。
摄影机成像器
只有CMOS图像传感器用到了如今的专业摄影机中。以前版本的传感器常用卷帘快门，但大部分现在的传感器都用全局快门。使用全局快门时，所有像素始终可以在所有操作模式下同时读取和重置，但使用卷帘快门时，每个像素都有不同的曝光时刻。
大部分应用中，以及拍摄LED墙时，这两种快门的差异并不大。然而，应该注意的是，特定应用仅适用全局快门。这些特定应用包括，比如，以提升的帧率操作LED墙的所有应用，以及摄影机使用短期曝光来在特定时间点拍摄LED墙图像的应用。
另一方面，由于新视频格式，摄影机传感器像素数量不断增加，导致图像分辨率的增加，但现在也出现了越来越多的情况是摄影机传感器的像素结构与LED墙的相互干涉。然而，有几个点需要考虑，它们会对预计产生的问题产生影响。这就包括在摄影机端采取的把干涉最小化的目标举措，还有一些物理条件造成的影响图像质量的东西。
分辨率/锐度
在一个摄影机系统中，有几个参数会影响图像锐度，包括像素数量，镜头的MTF表现，还有光学低通滤波（图5）。
由于像素数量是由视频格式决定的，而镜头的MTF表现有现实局限，摄影机开发过程中能影响到的唯一的一点就是光学低通滤波。
根据奈奎斯特定理，为进行无干涉采样，应滤除超过采样频率一半的信号，也就是说，最优光学低通滤波应该以刚刚低于采样频率一半的陡峭边缘滤除图像信号。
然而，这样一种光学砖墙滤波器（图6中的绿色虚线）并不存在，转而使用的折中方法是一种有余弦响应的光学低通滤波器，它有柔和的滚降，在采样频率上形成一个V形切口（图6中的蓝色虚线）。这种滤波提供了图像锐度与摄影机混叠（aliasing）表现之间比较好的折中。
为出现混叠的情况提供优化滤波
我们已经提到过，LED墙与摄影机传感器像素结构的叠加可能会导致干涉，这在图像上会形成肉眼可见的混叠。这些干扰为低频折叠频率，是无法在之后滤除的。因此，只能防止这些干扰的发生。为此，可在摄影机内使用额外的光学低通滤波器，它一般在采样频率的一半有一个V形切口。这大大减少了混叠，但造成的结果是有损图像分辨率。
然而，由于感知的图像锐度并不那么取决于对最高频率的重现，而取决于对中频的调制深度，比如MTF为最大值50%时的频率，以及MTF曲线下的区域，这不会因为额外的滤波而改变很多，对于大部分应用，这种损失是可以接受的。
但是，正是因为会损失分辨率，所以这种额外的光学低通滤波并不作为标准来使用，只是在需要的时候作为一种选择。此外，可以使用具有单谷或双谷特点的滤波器，这么一来，混叠减少和锐度损失之间的关系就会发生正相关或负相关变化。
图7显示了各种可选的光学低通滤波器的特点，但图上也能清楚地看到调制传递函数（modulation transfer function，缩写MTF）的降低。图8显示了一个摄影机系统所得的整体调制传递函数——可以清楚地看到，损失明显比人们仅看滤波器所预期的要低。
单成像器 VS 三成像器
大部分广播级摄影机使用三图像传感器，配有一个棱镜分色器，将场景光分离为三种颜色（图9）。这些色彩分离随后由三个完全相同的全带宽图像传感器采集。因此，对所有三个颜色，扫描频率完全一致，并且对于所有颜色，一定要在传感器前发生的最优光学预滤波也一模一样。
在一台传感器应用了色彩滤波阵列的单成像器摄影机中，色彩分离方式是不一样的。单成像器摄影机通常基于拜耳阵列原则，该阵列中，每两个像素有一个绿色滤波器，每四个像素有一个蓝色或红色滤波器（图10）。
结果就是，不同色彩会有不同的采样频率，因此，不可能同时实现所有色彩的最优光学低通滤波。
在实践中，绿色信号的滤波效果最好，而另外两种颜色欠佳，这一点也清晰地反映在了图中相应的干扰中（图11）。
新应用
VR/AR
尤其是在VR和AR领域中，某些应用中会以提升的帧率来操作LED墙，这就给摄影机技术带来了全新的挑战。摄影机是以短时间曝光来操作的，它配合着LED墙所重现的单一图像的曝光时间。
对于这些应用，至关重要的是，摄影机中的图像传感器要有全局快门，因为这是在短时间曝光中能够同时曝光和读取所有图像元素的唯一方式。此外，尤其是在摄影机端，有可能更顺畅且简单地将摄影机集成到拍摄制作环境中。这就需要一种解决方案可以允许曝光时序持续变换。
电子快门
电子快门用于减少一台摄影机的曝光时间。电子快门会在时间中的某个点将光电二极管中积累的电荷清除，由此开始新的曝光。只有在消除时刻与读出时刻之间所积累的电荷量才会被用到（图12）。
如何选择图像
然而，曝光时刻不能像摄影棚时序一样自由选择，但它始终是紧接在摄影机传感器读出时间之前的那一段时间。
当然，摄影机同步信号可以大幅挪动，让曝光时刻在它需要的时间点准确发生。但那就意味着，对于需要不同曝光时刻的每台摄影机，需要不同的同步信号。不仅如此，摄影机输出信号到时候无法再与摄影棚时序同步，它到时候需要再次延迟，直到它与其余信号同步。
然而，若每台摄影机内集成一个可以设置传感器输出与信号处理之间自由可选、至多延迟1帧的电路，如图13中名为V变换的电路，那么每台摄影机的曝光时刻可以自由选择，不会有任何问题。
图14所展现的情况是，LED墙以图像频率的4倍频率来操作，摄影机仅会采集第三个图像。
为了实现这一点，电子快门设置为少于或等于1/200秒（在50Hz时）或1/240秒（在59.94Hz时），随后V变换设置改变，直到摄影机传感器的曝光时刻与LED墙上想要的一个画面精确同步。
相较于改变摄影机同步信号，这种解决方案的使用更为简单，同时更为灵活和省时。
如何采集多画面
有的应用要求对以更高帧率操作的LED墙仅采集单一图像，也有一些应用需要采集所有图像。为实现这一点，摄影机必须以跟LED墙相同的帧率操作，并且，曝光时刻仍然必须变换。为减少两个图像间的串扰，在电子快门的辅助下，稍微降低曝光时间会有所帮助。
摄影机传感器敏感度的降低与曝光时间成正比，并且由于在这些应用中，曝光时间大幅缩短，对图像传感器的光敏度要求很高。
但是，更大的问题在于，这种解决方案常用于高速拍摄的UHD摄影机来读出UHD像素的仅仅一小部分。这种情况下，只有水平平面上的每隔一个像素和每隔一行的这些像素能被读出（图15）。在UHD传感器的3840×2160个像素中，会读出1920×1080或Full HD，但这会导致在像素读出之间产生大型的不感光区域，这反而会让LED墙应用不能得到可接受的效果，尤其是由于混叠干涉。
最新一代2/3’’ UHD CMOS传感器，即便连接全局快门，已经能允许最多六倍帧率的操作。
然而，这对图像传感器和后续信号处理的挑战非常大，对带宽的要求提升到跟对刷新率的要求一样（比如六倍速），需要六倍大的带宽，对于16-bit UHD传感器，到时候要处理的信号超过300 Gbps。
3 × (4224 × 2248像素) × 16bit × 359.64帧 × (对CDS) 2倍采样 = 327.84 Gbps
将来自传感器的原生UHD信号为信号处理转为1080p信号，通过传感器的过采样，能提供6×1080p的最优图像质量，因此它代表着对于许多应用来说最优的折中方案。
总结
正如白皮书的标题所说：“摄影机与LED墙——一种充满挑战的关系”，摄影机与LED墙结合使用会带来一些特殊的挑战。但由于这种情况时常发生，就算有挑战，已经有解决方案可以实现可能的最佳效果。首先，可以在为LED应用优化过的摄影机内，使用额外的光学低通滤波器；其次，可以在摄影机信号处理中，应用额外的延迟电路，来自由决定曝光时间；最后，对于采用2/3’’三图像传感器的高速摄影机，可以以要求的帧率进行UHD像素扫描来进行原生拍摄。
出处：Klaus Weber | Grass Valley
翻译：LorianneW | 盖雅翻译小组
