01

Live FX 用于虚拟制作

Live FX for Virtual Production

长话短说——Live FX到底能做什么？

In a nutshell – what does it do?

• LED墙摄影棚投影映射

• 通过像素映射实现基于图像的照明（IBL）

• 虚拟布景扩展

• 摄影机跟踪：支持Mo-Sys、NCAM、Intel、HTC等跟踪设备

• 虚拟影棚调色

• 绿幕/蓝幕抠像与垃圾遮罩

• 2D与3D环境实时合成

• 支持3D Notch Blocks和USD（通用场景描述）

• LED墙控制

• 基于LED墙图像内容的DMX灯光控制

• 录制视频与元数据

• 为VFX后期制作准备元数据与合成素材

• 实时链接虚幻引擎与Unity

• SDI/NDI采集与输出

• 与其他应用实现直接GPU纹理共享

基于LED墙的虚拟制作

LED wall based Virtual Production

Live FX是一款综合媒体服务器。它可以从单一工作站将2D和2.5D内容以任何分辨率或帧率在任何大小的LED墙上回放。它支持摄影机跟踪、投影映射、基于图像的照明等等功能。原生的Notch Blocks操作与USD文件格式还可以运用Live FX处理3D环境——优势还不止于此！通过实时链接与GPU纹理共享，Live FX还可以与虚幻引擎和Unity相结合。Live FX全面的调色与合成功能可以让用户快速实时执行摄影指导的反馈，甚至可以实现超越实体LED墙的布景扩展。

了解/购买产品：https://www.assimilateinc.com/products/livefx/#LFX-LEDwall

基于绿幕的虚拟制作

Green Screen based Virtual Production

Live FX所配备的工具满足一切绿幕抠像、调色以及摄影机与物体跟踪的需求，同时能够创建摄影机实时信号与CG元素的高级合成素材——无论是简单的2D纹理、等距圆柱投影素材、OFX插件、Matchbox shader特效还是来自Notch、虚幻引擎或Unity的完整3D环境，都不成问题。除此之外，Live FX还能将实时合成录制为单独的资产，并将所录制素材自动转为完全可自定义的离线合成，摄影机录制一结束即可进行回放。

解/购买产品： https://www.assimilateinc.com/products/livefx/#LFX-Greenscreen

摄影棚之外的虚拟制作

Virtual Production off the Stage

Live FX的运用不仅限于绿幕与LED墙摄影棚。鉴于Live FX对硬件配置要求并不高，它还可以用于拍摄地现场对关键拍摄进行实时合成，或在勘景过程中进行快速可视化预览。Live FX可以让你在任何片场环境创建完美的视觉效果，并为视效后期制作准备所需的一切元数据。世界最全能虚拟制作软件，它当之无愧。请在下方查看Live FX几大工作流模式！

需要帮助？

Need help?

• 查看Live FX用户指南

• 安装推荐的AJA、Blackmagic与Bluefish444视频IO驱动

• 观看Live FX实操教学视频

• 加入我们的Facebook社群

• 联系我们的支持团队

还想进一步了解？

Wanna know more?

继续往下阅读查看Live FX的多种工作流！

02

LED墙工作流

LED wall based Workflow

实景拍摄实时视觉特效

Creating real time in-camera VFX

Assimilate Live FX可在LED墙上加载播放任何分辨率与帧率的素材。这些素材指的是2D素材，如简单的PNG文件、Quicktime文件或任何适合的摄影机RAW素材；也包括360°立体素材，Live FX甚至可以基于摄影机跟踪数据对立体素材视场做动画处理。还不止如此：Live FX能够以Notch Block的形式加载完整3D环境和USD场景，并将虚拟摄影机与片场实体摄影机绑定！

投影映射

Projection Mapping

可在Live FX中直接配置LED墙摄影棚，或导入各面LED墙的OBJ网格文件。Live FX会使用摄影棚的3D设置与摄影机跟踪数据来计算出正确的透视，在所有屏幕上实现更逼真、更具沉浸感的投影——无论是2D、2.5D、3D、虚幻引擎还是其他任何形式的实时信号。支持无论是HD、UHD、8K还是超16K分辨率，包括业内最宽格式都不在话下！

基于图像的照明

Image-based Lighting

虚拟制作中，不仅需要控制LED墙的内容，同时摄影棚内的灯光必须配合LED墙的投影内容才能创造完美的视觉效果。感谢最新照明技术的发展，现代灯具可以创造出精细粒度且充满细节的布光环境。Live FX可通过对灯具进行像素映射，将任意数量的光源提供给屏幕上的图像内容，并通过ArtNet或sACN协议对光线进行控制。设置便捷，操作简单——甚至只需笔记本电脑即可同时运行数百个宇宙！

布景扩展

Set Extensions

只需在舞台管理器中设置好摄影棚，Live FX就会自动创建摄影棚alpha映射，这可以让用户通过切换器节点采集实时摄影机信号轻松应用布景扩展，以及利用Live FX生成的摄影棚蒙版来应用虚拟背景。Live FX可以使用任何种类的2D和2.5D素材，以及来自虚幻引擎、Unity和Notch的完整3D环境作为布景扩展。其全面的调色工具可对虚拟布景扩展和单独拍摄摄影棚画面的实时摄影机信号进行调色，以使不同素材无缝衔接。

人人都能上手的摄影机跟踪

Camera Tracking for everyone

对于LED墙工作流而言，摄影机跟踪至关重要。Live FX有多种摄影机跟踪方式，满足不同项目预算与技术的不同需求。无论使用的是Mo-Sys Star Tracker、NCAM、StereoLabs、HTC Vive跟踪器、Intel RealSense等专用跟踪器，还是智能手机内置陀螺仪或ARKit应用——Live FX完美适配任何预算规模项目，满足您的片场需求。在没有专用跟踪设备的情况下，Live FX仍可以通过读取摄影机实时SDI信号附带的水平、上下、旋转角度等信息实现精准的摄影机跟踪。

不只是可视化预览

Previz and beyond

虚拟制作设置的主要任务是将实时图像与CGI元素相融合。Live FX配备了专业虚拟制作艺术家所熟悉的一切工具，创造惊艳的合成效果。除了色轮、曲线、矢量网格、LUT应用等色彩工具，Live FX还具有强大的抠像键控功能，并且能通过不同图层和节点树结合不同的抠像。Live FX还拥有无与伦比的格式支持，真正实现“格式自由”，任何格式的素材想导入就能导入，带/不带alpha通道均可，不限分辨率与帧率，甚至包括360°等距圆柱投影素材。只要您的硬件支持，Live FX“无所不能”！

Live FX并非一座孤岛！

Live FX is not an island!

虽然Live FX是一款特别设计的一站式应用，但它同时也提供了数个钩连点，可以与市面上现存的虚拟制作工作流相集成。Live FX可以通过开放式声音控制（OSC）实现全面控制，并且可以通过OSC向其他应用发送回放控制、摄影机位置数据和其他元数据。通过专门的实时链接可直接将Live FX与虚幻引擎和Unity相集成，若两者在同一设备上运行，Live FX可直接在GPU上共享纹理，实现绝对的零延迟图像交换！

虚拟影棚实时调色

Livegrading the Volume

无论是使用Live FX向LED墙发送内容，还是从虚幻引擎等其他源头传输内容，Live FX自带的完整完成片制作工具不仅可以对虚拟影棚实时调色，还可以对摄影机实时信号进行实时调色，让其与数字背景完美融合。Live FX的层堆栈设计直观好用，只需点击几次鼠标就可以添加不限数量的图层为场景增添2D和3D元素。

重要的事情说三遍：元数据！元数据！元数据！

Metadata, metadata and nothing but metadata

采集元数据一直以来都是Assimilate的强大优势。对于虚拟制作工作流而言，采集元数据是绝对的必备基操，而Live FX可轻松搞定数据采集。无论是摄影机本身的实时SDI元数据，英特尔RealSense跟踪摄像头的跟踪数据，还是屏幕上的注释或场号/镜次信息等用户输入数据——所有一切元数据全程采集，随时以备后期之需！

03

绿幕工作流

Green Screen based Workflows

轻松上手——快速进阶

Start easy – advance fast

绿幕拍摄的基础操作是绿幕抠像并替换为所需背景。Live FX自带HSV/RGB/矢量/色度/亮度限制器，可单独使用也可结合起来创建最终的alpha通道。如果您只需要基础绿幕操作，Live FX是您的绝佳助手！您可以通过SDI、NDI或通过HDMI/DP接口直接从GPU分别将完整合成素材以及所生成的alpha通道输出至虚幻引擎！若您还有更高级的绿幕操作需求，请您往下读……

绿幕抠像替换与调色

Green screen replacement & Grading

完成抠像后顺理成章下一步要将抠掉的部分替换为其他图像。Live FX真正可以实现任意素材格式加载，包括所有热门摄影机的RAW格式，甚至可以使用360°立体素材，或完全使用3D Notch Block来填充背景。载入背景后，可以按需对背景进行缩放和位置调整。摄影机实时信号与数字背景既可以独立调色，也可以合并调色创造完美融合。Live FX甚至可以直接在合成素材内实时应用OFX插件和Matchbox GLSL插件。不仅如此，例如焦距等每帧元数据还可以通过摄影机SDI直接链接到Live FX的任何参数上——比如可以根据摄影机镜头焦点位置进行模糊纹理等处理。

物体与摄影机跟踪

Object- and camera tracking

Live FX还能让您的制作更上一层楼：Live FX具有多种不同的跟踪性能，可以更好地根据摄影机运镜和动态来补偿数字背景。许多应用场景中，实时物体跟踪器就足以在所链接的背景图像上创造出视差效果。当然，Live FX还有虚拟摄影机功能，可以直接链接到片场的实体摄影机上：无论是使用摄影机自身的陀螺仪SDI元数据，还是利用Mo-Sys Star Tracker、NCAM、StereoLabs、Intel RealSense或HTC Vive跟踪器等专用跟踪设备，Live FX都能以最灵活的方式帮助摄影机采集跟踪信息并充分利用2D和3D元素创建虚拟3D场景。

一切皆可录——包括元数据

Record everything – incl. metadata

对于虚拟制作拍摄而言，元数据相当宝贵。正因如此，从跟踪设备、摄影机SDI采集的所有一切元数据，甚至还包括场号&镜次、注释等等用户输入数据全部会被Live FX记录到用于视效后期的sidecar文件中。用户可将原始的摄影机实时信号或完整合成素材录制为ProRes/DNx MXF/H264文件。若录制格式可带alpha通道（如ProRes 4444），那么所创建的alpha通道也将被录制下来！

为VFX与后期制作做准备

Prep for VFX & Post Production

Live FX打造了一个对接后期的独一无二且无比高效的工作流：先进行实时合成，并分别录制原始输入内容与元数据。录制一完成，Live FX就会自动创建离线合成，可即刻回放并审阅。离线合成是对实时合成的备份，并不使用实时信号而是仅使用录制文件。离线合成还包含实时合成所用的其他一切元素，并提供所录制的动画通道以供进一步操作。高分辨率素材从摄影机中备份下来后，Live FX将自动创建线上合成，并用高品质摄影机原始媒体素材替换现场录制片段。这些线上合成内容可加载到Assimilate SCRATCH®中创建包含丰富元数据的每日样片或OpenEXR格式的VFX档，其中包含一切录制的帧元数据。

04

Notch Blocks——新一代3D环境

Live FX Studio and Notch 3D Environments

运用Notch Builder可以实时创建不可思议的动态图形和交互视效。这些3D环境可作为Notch Block导出，并作为虚拟背景导入Live FX Studio*。在Live FX Studio项目中，可将实体摄影机的摄影机跟踪信息链接至Notch Block内的虚拟摄影机。Notch Block摄影机的输出随后用于替换绿幕或传输至LED墙。Live FX Studio可对摄影机位置和视场进行动画制作，但远不止如此。场景的任何物体或存在物均可调整，或可链接至一个实时输入参数。Notch Blocks还可拥有任意数量的输入，Live FX Studio可对这些输入应用纹理或插件以创建完美的实时合成。

*需Notch Playback许可，可从Notch官网获取许可。

05

帮助与支持

Help & Support

运行Live FX需要什么

What you need to run Live FX

操作系统：Windows 7/10。macOS 10.9及以上版本。

CPU：任何现代Apple、英特尔或AMD处理器

GFX：任何现代显卡。最好使用高端显卡：NVIDIA Quadro/AMD Radeon PRO。请注意，使用标准英特尔显卡的系统可能不支持部分功能。

RAM：至少8Gb。最好12Gb或以上。

SDI（可选）：AJA、Blackmagic、Bluefish444。

查看具体系统要求：https://www.assimilatesupport.com/akb/KnowledgebaseArticle51023.aspx

学习全面解锁Live FX性能

Learn to Use Live FX to the Fullest

试用：https://register.assimilateinc.com/registration.aspx?p=9

选择我的套餐

Pick My Plan

购买Live FX  ：https://store2.assimilateinc.com/product/live-fx/

购买Live FX Studio：https://store2.assimilateinc.com/product/live-fx-studio/

每个许可均可全面访问软件的最新版本与所有更新，同时还可获得我们技术支持团队的服务。

请注意，永久许可自带一整年支持服务。一年之后，您可以继续使用软件，但如需进一步更新软件或联系我们的技术支持团队则需要续约您的支持服务协议。

站点许可提供在您公司范围内可用的无限数量的许可。请联系销售团队获取更多信息。