Live FX:虚拟制作影棚神经中枢

Assimilate Live FX: The VP-Stages' very, VERY nervous system. - DIGITAL PRODUCTION
技术前沿

有了 Live FX,一台笔记本电脑即可化身虚拟制作媒体服务器,驱动 LED 墙与灯具,进行合成与调色。

目录

若你还不认识这个工具,先容我介绍一下:用于专业后期管线的调色与完成片制作系统 Scratch,问世20多年来广受好评。在此基础上,Live FX 应运而生 —— 这是一款用于虚拟制作的纯软件实时媒体服务器。除了 Live FX,其他产品还有实时调色软件 Live Looks,多机 VTR 软件 Live Assist,以及满足你所有需求的专业视频播放器 Play Pro Studio。这些工具涵盖了片场备份与装载、调色、采集、回放和 LED 影棚控制,形成了从 LED 墙到摄影机到调色的程序闭环。

为何开发 Live FX

当虚拟制作刚开始渗透到电影工作流时,尚未出现专为电影片场而打造的媒体服务器。摄制组需要借用现场活动所使用的设备,或把虚幻引擎之类的游戏引擎“掰成”满足拍摄需求的形态。技术上,那是可行的。但这同时意味着许多的妥协和土办法,并且要跟摄影指导(DP)解释为何这些东西的表现类似舞台技术。

Live FX 就是为了终结这些情况而开发打造的。这套纯软件系统专为电影制作而设计,并非针对编程人员或巡演工程师。实时合成、投影映射和基于图像的照明集中在一个界面,对于习惯于镜头和布光设置思维方式的人来说,便于理解。视频输出和 DMX 域没有人为限制。这款软件设计精简,运行快速,高效使用硬件,可在单一工作站使用,也可轻松扩展为多节点设置。回放、布光和元数据都集中在一个环境中,而不是东拼西凑到一起。

A computer screen displaying a 3D modeling software interface. The foreground shows a wireframe car model, and the background features a stylized urban scene with neon lights. Color adjustment tools are highlighted at the bottom.

以利用行车背景原档拍摄汽车广告为例。Live FX 可在曲面 LED 虚拟影棚上驱动 360° 背景原档,基于图像内容控制实体布光灯具,同时与摄影机跟踪和镜头元数据保持锁定。随着虚拟的太阳在背景原档中移动或变色,片场的实体灯具也会实时跟着变化。这样在打开合成工具之前就能得到更接近成片的图像。

最棒的是,Live FX 不需要一整机架的服务器或稀奇古怪的硬件。对于中小型 LED 虚拟影棚,一台普通的工作站即可轻松运行。比如 MacBook 或游戏本就行。这让更小型的工作室也能用上 LED 工作流,硬件预算也不会很吓人。

形成完整生态体系

Live FX 的另一作用就是打通过去二十年来所打造的生态闭环。前有 Scratch 负责实时调色工作和稳健的格式回放;后有 Live Looks 将调色带入片场,Live Assist 处理多机 VTR 任务。这些全都手到擒来。

Live FX 的出现让这套生态系统终于涉足投影映射、摄影机跟踪集成和布光控制领域。换言之,这些正是 LED 虚拟影棚所需的功能,同样也是经典绿幕影棚仍然需要的。很关键的一点是,Live FX 能保留元数据的完整性。镜头数据、焦点、曝光、跟踪信息、场景、镜次、时码 —— 所有这些都能在片场采集,并直接向下传递至后期制作。无需额外记录,无需手动复制粘贴操作,大大降低在拍摄与后期阶段之间遗失信息的可能性。

Screenshot of the ASSIMILATE LIVE FX STUDIO interface featuring a colorful circular logo against a dark background, with a video preview and various settings and options displayed in the main area.

为何 Live FX 不同于虚幻引擎

Live FX 跟在虚幻引擎运行实例有本质不同。虚幻引擎是一款游戏引擎,它需要大量系统资源,而 Live FX 则设计成为一款供 DIT、DP 和视效艺术家使用的创意工具。它注重的是快捷的实时操作,其用户界面专为电影工作流而生,而非为了代码编写。

Live FX 支持多种工作流,比如可以轻松搞定360°背景原档和 2.5D 合成。它还能导入 3D 环境,如 Notch Blocks 或 USD 场景。Notch Blocks 是在 Notch 动态图形工具中制作的预搭建实时图形或效果,在此用于直接为 LED 墙增加动态或程序化视觉元素,然而它并不会像完整的引擎构建那样给系统造成沉重负担。(你到 Notch 网站上看看就会发现其诸多演示中运用了 Live FX)

本质上,Live FX 是一个可以在单一的一体化软件环境中驱动 LED 墙、控制灯光、合成实时背景原档和管理色彩的“机器”。

User interface of a digital color grading software displaying a 3D environment with colorful neon lights and various adjustment panels, including color wheels and waveform graphs. 在更为复杂的项目中,Live FX 可通过专有的实时链接工作流跟虚幻引擎实现互操作。当两款软件在同一个工作站上运行时,它向虚幻引擎发送摄影机跟踪数据,并通过 GPU 纹理共享接收渲染好的视锥体,在将延迟降至极低的同时仍能利用虚幻引擎的 3D 渲染性能。

软件端

Live FX 的界面能给予即时的视觉反馈。它是一个 GPU 驱动的环境,可在 LED 墙、绿幕或 360° 演示中对素材做加载、图层排布、调色和投影。它支持 2D、2.5D、180° 和 360° 内容的投影,分辨率可大于 16K,投影模式多种多样,包括视锥体、平面、球形、穹顶或圆柱形输出。

对于 3D 内容,Live FX 可导入 USD 场景和 Notch Blocks。它还支持 Netflix OpenVPCal 这一专为摄影机内视效工作流而开发的开源 LED 墙校准工具。OpenVPCal 会针对摄影机和 LED 管线创建色彩空间校正,从而提升 LED 墙的图像准确度。

Live FX 对场景大小和背景原档分辨率不作限制;硬件性能才会影响那些限制。现代 GPU 通常支持最高 32K×32K 的纹理尺寸,而理论上,Live FX 可处理最高 65K×65K、帧率超过每秒1000帧的回放。但是,硬件设备性能决定了实际回放上限。

A software interface displaying a 3D scene with an outdoor environment. The workspace includes various panels for settings and adjustments, featuring color wheels and a blue cube in the scene.

合成

实时合成包含内置的限定器:Live FX 自带 RGB、色度、亮度、HSV 和矢量键控,可按需组合使用。Live FX 支持 OFX 插件和 Matchbox Shader 特效,后者最初是为 Autodesk Flame 开发的基于 GPU 的着色小程序,经调整,它在 Live FX 中可用于自定义实时视效。

A screenshot of video editing software interface, displaying a timeline with various video clips and images organized in rows, accompanied by a toolbar and settings options at the bottom.

软件内联的调色工具包括色轮、曲线、遮罩和 LUT 管理,让 DIT 和创意艺术家们可以在片场看到准确调色。摄影机和元数据集成让 Live FX 能够从 ARRI、Sony、Canon 和 Panasonic 等制造商的 SDI 信号中读取细节信息,比如镜头、焦点和曝光。它支持所有主流摄影机跟踪系统,比如 Mo-Sys、Zeiss、Vicon、OptiTrack 等等,同时还支持通用协议,比如 FreeD、OpenTrackIO 或 Open Sound Control 协议。

走进Igelkott Studios:以Live FX引领基于投影的ICVFX

Live FX 中的回放支持 GPU 能管理的几乎任意帧率或画幅比。它能记录原始信号和元数据,同时能输出一个实时合成,并自动在拍摄后重建最终线上版本。存储需求依格式而变化:高分辨率编解码器 —— 如 NotchLC 或 OpenEXR 段落 —— 需要高速、高性能存储,而更轻便的格式可使用便携 SSD 硬盘。Live FX 还能通过 NDI 采集和输出信号,可通过 OBS 之类的工具向 YouTube 等平台推流。

Live FX 并不支持原生运行交互式模拟或复杂的粒子系统,但它可以与虚幻引擎、Blender 或 Unity 等引擎集成。在这些混合式工作流中,Live FX 会将时码和跟踪数据传输给引擎,并接收渲染好的输出,这让它非常适合在混合实时管线中作为合成器。

影棚可大可小

单套 Live FX Studio 系统即可由两个 GPU 控制多达7个 LED 处理器,或通过两个 8K SDI 卡控制多达8个 LED 处理器 —— 前提是没有其他硬件瓶颈在限制回放。对于大型虚拟影棚,有必要采用多节点配置。在这样的设置中,多个 Live FX 系统会分摊虚拟影棚的渲染与控制任务,每个系统驱动 LED 墙的某部分。

A user interface of a 3D virtual production studio showing a digital environment with a yellow backdrop, white floor, and green elements. The sidebar displays settings for stage modeling, lighting, and resolution.

多节点工作流还有助于明确片场职责。一般来说,负责灯具的人跟负责 LED 墙的人不是同个人,你可不希望两人对谁用鼠标、谁用键盘争来抢去。因此,设置单独的客户端 Live FX 系统来负责布光会是个不错的选择。

硬件与平台要求

Live FX 的核心优势之一就是它不需要高端的硬件。一台搭载有当代 GPU 的现代工作站或笔记本电脑就足以运行中小型设置了。对于较大型的影棚,建议使用配备有高端 Nvidia Quadro 卡的 Windows 工作站。

你可以在任意电脑上运行 Live FX,只要其操作系统是 Windows 或 macOS。你甚至可以重新利用现有的媒体服务器硬件。重点在于,无论硬件能否完成其既定任务 —— 这款软件都不会施加任何限制。

A modern production studio showcasing colorful LED screens with vibrant patterns. A laptop displaying control software is on the foreground table, with more screens illuminating the space with bright light effects.

CPU 要求并不高:过去5年内、可正常处理视频渲染的任何处理器都可使用。RAM 最低要求是 8GB,建议不低于 32GB,对于较繁重的工作负荷,建议至少 64GB。若虚幻引擎运行于同一台电脑上,则内存的使用会随工作负荷而变化。支持的操作系统:Windows 10 或更新版本;macOS 10.15 或更新版本。可通过 AJA、Blackmagic Design 或 Bluefish444 的采集卡添加额外的 SDI I/O。

现有的媒体服务器硬件若满足这些标准,通常可重新用于运行 Live FX。这款软件本身并无限制;其性能取决于硬件的适用性。甚至是紧凑型的 Mac Mini 也能为小型 LED 影棚处理基本的 LED 回放。

连接性:墙与灯具

Live FX 可直接对接 LED 处理器,比如 Brompton 和 Megapixel VR 的处理器,以此管理同步锁相、时码和透视校正。它会向灯具输出 Art-Net、sACN 或 USB DMX,它也是目前支持视频灯具(如 Kino Flo Mimik,它不使用 DMX)的唯一软件。(协议术语表在文末)

A digital workspace displaying a panoramic view of a city at night, featuring brightly lit buildings with colorful lights. Various editing tools and settings are visible on the screen, indicating a design or editing software interface.

在基于图像的照明模式中,每个灯具都会响应屏幕所播放的内容 —— 或响应舞台上演员前方、上方或旁边的屏幕上应该播放的内容(想像360°内容,整个360°中只会有一部分真正显示到LED墙上,其他内容则用于基于图像的照明,以模拟环境!)。若背景原档显示了来自左侧的强烈定向光,那么实体灯具需要有相应的响应,让舞台照明对 LED 内容实时做出反应。

Live FX 集成了照明控制台,可以让灯光师控制实体灯具或对应的虚拟灯具。由于 Live FX 在内部处理像素映射,灯控台只需要控制每个灯具最多51个 DMX 通道,无论实体灯具使用了多少通道。这有助于降低网络复杂性,并保留照明控制台上的域。

网页界面?

软件内置的网页界面可从平板或手机远程控制灯具,便于片场调节。使用真正的舞台灯光来补充 LED 墙光源可以提供 LED 面板本身通常无法达到的亮度和全光谱照明。许多 LED 墙仍基于 RGB 发光器件,它们存在光谱间隙,对呈现准确肤色尤其成问题。具有全光谱光源的舞台灯具有助于弥合那些间隙,产生更逼真的图像。尽管融合了冷暖白光发光器件的更新版本的 LED 灯板改善了色彩响应,但由于成本问题,它们在影棚中的运用范围有限。

设置与上手

据说,你的咖啡还没放凉,Live FX 设置就已完成了。其安装、许可应用和软件启动非常简单直接。连接 LED 处理器和布光界面,加载背景原档或环境,导入 LUT 或色彩配置,如 ACES、Rec.2020 或 HDR10,然后开始回放。布光会自动同步。

学习资源包括 Assimilate 的 YouTube 频道,Sim-plates.com 的绿幕和 LED 工作流演示场景,Live FX 用户指南,以及 Assimilate 的 Discord 服务器。

想学习 Live FX,Assimilate 提供专门的培训,应制定至少两日的培训计划。此外,你所在城市附近可能会举办免费的Assimilate学院大师班。但即便没有培训,用户也可以通过他们的 YouTube 频道快速、高效地学会 Live FX。几乎任何操作相关的话题都有教程和专门的播放列表,以便新用户快速上手。虽然用户能提前熟悉这款软件是最好的,但实际上通常开拍前一天才部署 Live FX。然而即便在那种情况下,新用户也能在安装好软件之后的几分钟内在 LED 墙上获得可用的图像。

A digital interface displaying a 3D graphic of a cityscape, with tools and color wheels for editing. The upper section features a color spectrum, while the lower part includes sliders for adjustments, set against a dark background.

实操效果?

Live FX 如何令虚拟制作改头换面

尽管 Live FX 问世时间并不长,但它已被用于一些知名的 Netflix 剧集和长片电影。很可惜许多具体应用细节不可公开,但以下是精选出来的近期用例:

丹麦Netflix热剧《深居叵测》幕后:深度解析虚拟制作

鲁斯·肖与丹尼尔·沃克专访:Biffy Clyro乐队《Goodbye》MV幕后

赌场剧院爆改LED虚拟影棚——《小人物之歌》虚拟制作幕后揭秘

最新版 Live FX 有何新功能?未来还有什么功能?

2025年圣诞前,发布的 Live FX 9.9 版。新版本引入了真正的多节点工作流、多GPU输出选项、更新换代的舞台管理器、全新的虚幻引擎 nDisplay 工作流,并且 IBL 工具组、投影模式和格式支持方面也有多个小更新。而与此同时,现已在开发一批新功能:今年晚些时候,这款软件还将新增 REST API 和原生 ST2110 支持。

A digital interface showing a character model next to a grey car, within a 3D design software environment. The background includes trees, and various controls are visible at the bottom for adjusting character settings.
Live FX 9.9 版:更多面墙,更多节点,更多玩法!

兼容性、技术规格与售价

Live FX 支持 Windows 10 或更新版本,以及 macOS 10.15 或更新版本。既能在笔记本电脑上运行,也能拓展到完整 LED 控制设备。典型配置可支持多个 4K 信号或一个 16K 背景原档。所支持的文件类型包括:EXR、ProRes、NotchLC、HAP、RAW、H.264、H.265、LUT (.cube和.3dl)、CDL、Notch Blocks 和 USD。外接 I/O 包括 SDI、NDI、Spout、Syphon、OSC、DMX、Art-Net 和 sACN。

摄影机元数据和色彩数据可在 Live FX 生态系统中直接传递。包括用户注释、场/镜信息以及所有摄影机跟踪和 SDI 元数据在内的元数据,都可以记录并传递至后期制作。通过 GPU 纹理共享或 NDI / SDI 可实现虚幻引擎、Blender 和 Unity 工作流集成。多种许可选择:月许可(695美元)、3个月许可(1,595美元)、年许可(4,995美元)和涵盖一年技术支持与更新服务的永久许可(7,495美元)。永久许可的年度技术支持可随时续订。别犹豫,现在就获取免费试用版/学习版吧!

Live FX 意义何在

Live FX 是片场的神经中枢,它凭借后期级别的精确度与实时响应协调着 LED 墙、布光、合成与调色。它将电影制作语言和工作流带入影棚,拍摄不再靠瞎猜,提供素材源的艺术控制。二十年来,Scratch 被称为后期制作界的“瑞士军刀”,而 Live FX 或许会在虚拟制作领域拿下这个名号。

一如既往提醒大家,专业用户应对软件进行全面测试再将其应用于实时拍摄,可点此下载免费个人学习版软件轻松完成测试。

附录:协议、扩展、标准和定义

FreeD

一种跟踪数据协议,专为摄影机跟踪系统而开发,用于实时传输位姿、镜头和其他元数据。

OpenTrackIO

SMPTE RiS-OSVP 小组为虚拟制作跟踪互操作而开发的开源、免费元数据协议。

ris-pub.smpte.org

开放式声音控制(Open Sound Control,缩写 OSC)

一种计算机与多媒体设备之间进行通讯的网络协议,广泛应用于创意和演出控制环境中。

Wikipedia

Art-Net

一种通过 UDP / IP 传输 DMX 域的以太网协议规范,用于在娱乐网络中进行布光控制。

Beckhoff Automation

控制网络流架构(Streaming Architecture for Control Networks,缩写 sACN)

一种通过 UDP / IP 网络发送 DMX 数据的协议(ANSI E1.31),专为多播灯光控制而设计。

Beckhoff Automation

OpenVPCal

Netflix 为 LED 墙和摄影机管线开发的开源校准工具,用于生成色彩空间校正。

GitHub

Notch Blocks

在 Notch 运动图形工具中为程序化视觉元素而创建的预搭建实时内容构建要素。

Notch Blocks

Matchbox Shader

基于 GPU 的着色小程序,最初是 Autodesk Flame 为实时特效而开发的,在此用于 Live FX 实时特效。

通用场景描述(Universal Scene Description,缩写 USD)

一种用于 3D 场景描述的文件格式和交换框架,广泛运用于复杂的管线互操作中。

实时消息传输协议(Real Time Messaging Protocol,缩写 RTMP)

一种用于通过网络进行音频、视频和数据推流的协议。


出处:Mazze Aderhold | Digital Production

翻译:LorianneW | 盖雅翻译小组


您可能对以下内容感兴趣:

6分钟教你学会设置 Live FX IBL

CVP:Live FX 助力从零建起虚拟影棚

Live FX 如何令虚拟制作改头换面

诺亚·坎德纳:你还没在虚拟制作中用过 Live FX 吗?

Views: 33

技术前沿
Assimilate 产品套装 v9.9 1211 小更新

Assimilate 产品套装 v9.9 1211 更新

技术前沿
Pomfort 发布 Silverstack 9.3.1 版本更新

Silverstack 9.3.1 版本更新

技术前沿
Pomfort 发布 Silverstack 9.3 版本更新

Silverstack 9.3 版本更新