片场延迟:如何以 Reeltime 实现最快实时信号传输

影视制作

概述

·延迟的问题所在以及为什么你会想减少延迟

·需要考虑的参数:影响延迟的因素有哪些?

·测量你的设置的延迟

·4大确保超低延迟实时信号传输的 Reeltime 功能

·测试结果概述:不同 Reeltime 视频设置的延迟

 

在电影片场,抓紧时间至关重要。虽然许多工作人员站得离演员足够近,能够实时听到他们的对白,但大多数人还是依靠监视器来查看摄影机捕捉到的画面。然而,这些人看到的画面并非真正实时 —— 视频信号从摄影机通过传输系统传到视频系统会有以毫秒计的推迟,然后才抵达其监看设备。

这种推迟在技术上被称为延迟(latency),可能很快就会变得明显且令人沮丧,尤其是当你观看的图像与周围的实时声音不同步时。对于依赖实时影像准确性的部门,比如跟焦员或导演,即使是几帧延迟也会产生巨大影响。

这就是为什么实现低延迟实时信号传输是任何视频辅助设置中最重要的目标之一。在本文中,我们将探讨哪些因素会影响片场的信号延迟,概述如何测量延迟,并分享将延迟保持在最低水平的最佳实践。最后,我们将展示 Reeltime 如何能帮你以最快的速度从摄影机传输实时视频信号到监视器。

延迟的问题所在以及为什么你会想减少延迟

如下图所示,实时动作与其在监视器上的显示之间总会存在一些延迟。

典型的6帧延迟已经相当明显:实际情况中场记板已经合上,但在监视器上仍是未合上的状态,同时演员的姿态也不一致。

片场不同的工作人员职位对延迟的敏感度各不相同,但都能受益于快速、同步的视频传输。比方说:

· 导演希望看到的实时画面与他们在片场听到的对话同步。音频和画面之间的不匹配可能会导致难以判断表演或节奏。

· 跟焦员依靠摄影机图像的即时反馈来精确调整对焦。因此,他们经常使用来自摄影机的专用直接信号来最大限度地减少延迟。

· 当视觉信号滞后于其听到的真实世界声音时,靠近片场的其他剧组工作人员很容易分心。

简而言之,延迟会干扰片场协作的自然流畅。因此,每套视频辅助系统的目标都很简单:让实时视频信号给人感觉是真正的“实时”。

需要考虑的参数:影响延迟的因素有哪些?

让我们更细节地观察这种现象,以便为我们的设置和工作流做出明智的决定。视频链中有几个组成部分会导致系统整体出现延迟。了解延迟的来源有助于确定你可以在哪些方面进行改进。

1. 硬件和传输延迟

信号处理的每个阶段都会引入一些延迟。

· 摄影机 SDI 输出:从传感器到摄影机 SDI 输出端口的时间因制造商和摄影机型号而异。在 Pomfort 的实验室中,ARRI Alexa 35 摄影机显示约3帧延迟,而 RED Helium 8K 摄影机显示约5帧延迟。其他制造商的数字电影摄影机通常也有约4帧的延迟。

· 无线图传:此类设备方便灵活,但在某些情况下也可能导致延迟。高端系统和更经济实惠的产品之间的延迟时间差异显著。图传和接收器之间的距离也可能会影响某些型号的延迟。如果你想优化设置以实现最低延迟,请尽量考虑有线连接。

· 视频I/O设备和软件:通过接口和软件采集、处理和输出视频信号自然会带来额外延迟。

值得一提的是:视频路由器和 LUT 盒子通常不会导致额外的延迟。

2. 显示延迟

即使信号到达监视器后,监视器的内部处理也可能引起额外的延迟。因此,请始终在你的 SDI 监视器上启用“快速模式”或任何等效的低延迟设置,以最大限度地减少这种影响。请参阅监视器制造商的用户手册,了解你的监视器是否包含快速模式或类似设置,或者它是否已经默认以最快的可能处理速度运行。

3. 同步所有信号源

为了确保一致的时序,所有音频和视频源必须恰当同步。声音部门通常管理时码分配,而摄影机则应进行时码同步或同步锁相,以保持精确的帧对齐。

同步锁相本身并不引入延迟;它只确保所有视频设备在完全相同的时刻启动每一帧。当设备锁定到同步锁相信号时,它可能会在同步过程中短暂调整其内部时序,但这种情况只会发生一次,不会导致任何持续延迟。

虽然适当的同步并不能直接减少延迟,但它有助于避免信号之间不一致的延迟 —— 这种延迟在片场也可能会造成干扰。

4. 同步音频和理解音频延迟

与视频一样,音频信号在数字链和现实世界中也会经历延迟。在大多数设置中,音频信号的处理和传输速度都比视频快。在 Reeltime 中调整音频延迟可以弥补这种差异,确保两个信号保持完全同步。

一个有趣的事实是:即使是物理声音也存在延迟。在现实世界中,音频传播速度约为每秒343米。这意味着,如果导演站在离演员10米远的地方,对白将在大约29毫秒后传达给导演 —— 这几乎相当于在 30 fps 之下产生一帧延迟。

虽然这种自然延迟在片场通常可以忽略不计,但它适时地提醒了我们,声音和画面总是会受到时序差异的影响,无论是由距离、传输还是信号处理造成的。

减少延迟的最佳实践

一旦理解了延迟的来源,你就可以采取有针对性的步骤来最大限度地减少延迟。以下最佳实践可以帮助你优化设置,以便在片场以最快的速度传输实时信号。

· 尽可能优先考虑有线连接。当必须采取无线传输时,请选择经过优化使延迟最小化的高质量系统。

· 如果可用,请在所有监视器上激活低延迟显示模式。

· 选择针对实时播放做过优化的视频 I/O 设备和软件。

· 如果你可以接受未经处理的图像,可以使用视频I/O和软件中进行跳过视频处理的专用功能。我们将在后面详细介绍 Reeltime 为实现最低延迟而提供的选项,包括实时跳过模式。

此外,了解设置中所有组件 —— 包括摄影机 —— 的延迟也很有帮助。虽然摄影机型号的选择通常不在你的控制范围内,但了解它引入的延迟程度可以帮助你更好地准确定位问题,避免将延迟归因于信号链的其他部分

为了有效地做到这一点,你首先需要测量你的设置实际引入的延迟程度

测量你的设置的延迟

了解系统引入的延迟程度是提高系统性能的第一步。测量延迟有助于确定性能是否在可接受的范围内,或者是否需要优化。

为什么测量很重要

对于视频辅助团队来说,精确的测量能确保片场工作人员所看到的尽可能准确地反映现实。超过几帧的延迟可能会导致部门之间的错误沟通,降低对实时信息的信心。

测量延迟的最佳实践

一个简单可靠的方法是使用时间码场记板或其他包含精确现实世界实践提示的视觉参考。以下是我们在 Pomfort 的做法:

测量延迟所使用的 Reeltime 设置,Pomfort 采用尊正监视器进行延迟测量

用于测量延迟的 Reeltime 设置

1. 真实世界参考:在摄影机取景框内放一个时间码显示(或显示运行时钟的设备)。

2. 直接实时信号(摄影机延迟):使用摄影机的 SDI 直出作为参考信号。这是使用拍摄摄影机在监视器上获取信号的最快方式,也是理解视频 I/O 和软件引入的延迟程度的基准。

3. 输入延迟:将参考信号与视频辅助软件中显示的信号进行比较,以确定输入延迟。在大多数设置中,输入延迟非常接近直接信号的速度。根据你显示设备的显示延迟,输入延迟甚至可能出现得稍快。

4. 输出延迟:测量软件输出到外部监视器的延迟,以确定输出延迟。

为了记录你的结果,你可以用智能手机拍照或拍摄慢动作视频。通过分析图像中所有可见的时间码,你可以确定信号链的哪个部分让总延迟增加最多。

典型的视频辅助设置

当测量的延迟值高于预期时,创建一个设置示意图来解决潜在的延迟源头会有所帮助。简单的信号链的示意图(如下图)有助于可视化测试设置和关键测量点。在我们的例子中,信号链包括:摄影机和音频源→视频路由器→视频和音频输入→Reeltime→视频和音频输出→视频路由器→监视器。

Pomfort 测试实验室中的视频设置简化示意图

4大确保超低延迟实时信号的 Reeltime 功能

Reeltime 的核心设计是低延迟性能。它提供了几种机制来尽可能地让实时视频信号保持快速直接。

对于所有受支持的视频 I/O 制造商(AJA、Blackmagic 和 DELTACAST),Reeltime 使用制造商 SDK 提供的最快方法来摄取和输出信号。

得益于新款 Apple silicon 芯片的 GPU 性能,处理是实时进行的,不会带来额外延迟。使用视频 I/O 设备进行 Reeltime 输入和输出通常会增加2到3帧的延迟。但这里有4个功能可以显著降低延迟:

1. 即时视频路由的自动化

你可以使用 Reeltime 的自动化管理器自动化视频路由配置。这让你可以根据特定事件自动触发路由变更。比方说,你可以根据输出槽是接收实时信号还是回放信号来应用不同的配置。这确保导演始终以最低延迟接收直接摄影机信号。这个功能绕过了视频处理,因此延迟降到了最低,尽管图像会保持未处理状态。让我们看看如何在下面的视频中设置视频路由自动化:

2. AJA 视频 I/O 设备的自动直通

除了自动化路由外,Reeltime 还可在不使用专用视频路由的情况下提供直接实时信号。这种针对兼容 AJA 设备的自动直通模式可以实现摄影机输入和监视器输出之间近乎零延迟。与自动化视频路由类似,这项功能可以绕过处理以实现最低延迟但输出的是未经处理的图像。为了快速概括,我们在下面的视频中总结了 Reeltime 的自动直通模式:

当在单台 I/O 设备上使用两路或多路同时直通时,重要的是要对摄影机信号进行同步锁相。比方说,如果你想在导监上显示A机,并在场记的监视器上显示B机(两台都作为直通信号),请确保两台摄影机都进行了同步锁相。你可以使用 Ambient Lockit 这样的工具来实现这一点。

在 Pomfort 测试实验室中使用的 Ambient Lockit

3. 通过 HDMI 或 Thunderbolt 的全屏输出

但是,如果你仍然想提供经过处理的实时信号,比方说,为片场不同职位提供量身定制的监视器画面,要怎么做呢?

Reeltime 的全屏输出集成使得信号可以通过Mac的内置端口直接分发到 HDMI、DisplayPort 和 Thunderbolt 监视器。这使得标准的电脑显示器或电视可以作为可靠的低延迟监看设备使用。在 60Hz 下运行时,与摄影机到监视器的直接信号相比,你只会经历1-2帧的额外延迟。

60Hz 刷新率通常不会对监视器产生任何不良影响,因为原始帧只是多次显示,没有插值或帧混合。虽然可以使用原始帧率(比如24 fps),但这样做会导致延迟高得多。这种行为并非 Reeltime 独有,当你在 macOS 中以低于 60Hz 的刷新率使用任何外部显示设备时也可以观察到。

对于经济高效的多监视器设置,四画分模式让你能够通过 HDMI 或 Thunderbolt 输出 4K 信号,然后可用 AJA HA5-4K 等转换器或类似设备将其分成四个独立的 HD-SDI 输出。

4. 低延迟本地串流(仅限 Reeltime Pro)

尽管一些职位需要高质量的 SDI 输出,但其他职位可能更喜欢在移动设备上进行实时串流。Reeltime Pro 利用片场无线网络在本地串流到其专用的配套应用程序,包括 Reeltime Viewer(iOS 和 iPadOS 可用)和 Reeltime Cinema(VisionOS)。所有 app 都具备行业标准加密和自定义协议,以确保低延迟、可靠的观看,同时与直接实时信号相比,延迟约为1帧。

测试结果概述:不同 Reeltime 视频设置的延迟

以下概述总结了不同 Reeltime 视频设置配置引入的典型附加延迟。数据基于 Pomfort Test Lab 的广泛测试。

视频设置配置

增加的延迟

输出信号


AJA 视频 I/O


2-3帧

经过处理


Blackmagic 视频 I/O


2-3帧

经过处理


DELTACAST 视频 I/O


2-3帧

经过处理

视频路由配置自动化

0帧

未经过处理

需要一套AJA或Blackmagic视频路由


自动化直出,搭配 AJA 视频 I/O


0帧

未经过处理

需要经过同步锁相的摄影机信号,如果你想要提供多于一路直出信号


全屏输出设备(通过 HDMI/Thunderbolt)


1-2帧

经过处理

例如:AJA HA5-4K,通过HDMI接口 @ 60Hz


Reeltime Pro 本地串流


1帧

经过处理

需要稳定、高质量的网络

测试结果表

 

结论

片场延迟不仅仅是个技术指标。它会直接影响到协作、精确度和制作项目的创意流程。通过了解延迟的来源,学习如何测量它,并在整个信号链中应用最佳实践,你可以显著提高实时信号的响应速度。

Reeltime 凭借其经过优化的视频处理管线和专用的低延迟功能,助你实现最快的实时监看体验。由此,你可以逐帧保持视频信号与现实世界同步。


出处:Wanja | Pomfort

编译:Charlie | 盖雅翻译小组

 

views
影视制作
调色师戴尔·格拉汉(CSI)回忆:如何为《拯救大兵瑞恩》打造独特风格

作为国际调色师协会(CSI)的资深会员,他坚信如果没有代表就意味着没有认可。

影视制作
DP 西穆斯·迈克加维谈《去死吧,我的爱》摄影幕后

〖更新至6-8〗痛苦美学的打造与拍摄。

影视制作
DP 爱丽丝·布鲁克斯谈《魔法坏女巫2》摄影幕后

回到奥兹国的标志性配色。