2024虚拟制作圆桌访谈

https://postperspective.com/wp-content/uploads/2024/10/Roundtable-Main-Image-624x416.jpg
行业观察

现代虚拟制作在过去几年来越来越多地被应用于各个项目中,这个在过去如“狂野西部”般的领域如今正在逐步发展成熟。虽然工作流尚未“标准化”,但部分流程已实现标准化,并且从业者们越来越适应这种拍摄方式,尽管虚拟制作的方方面面仍在发展进化。

除了能提供对环境更多的掌控之外,虚拟制作(VP)还能减少飞机出行,减少外景实地拍摄,提供实时调节和反馈,等等。

本次圆桌我们采访到多位虚拟制作从业者,以及让虚拟制作流程更简单的工具制造商。

一起来看看我们聊了什么吧。


Light Iron查尔斯·布那格(Charles Bunnag)

Panavision旗下的Light Iron公司是Panavision集团的后期创意服务部门,办公场所遍布北美,且提供全球远程服务。Light Iron为参与长片电影、电视、流媒体剧集的电影人与制片厂提供支持。

从调色师的角度看,你参与的项目中所涉及的工作流和技术发生了怎样的进步?

跟很多其他同行一样,我最初接触到虚拟制作是在《曼达洛人》(The Mandalorian)第一季。当时大家都挺受震撼,因为这是一种新技术,它带来了如此难以置信的效果。所有关于虚拟制作的技术上的担忧都被工业光魔处理好了。使用工业光魔的StageCraft虚拟影棚在调色过程中对我们没有太大影响,因为无论是不是虚拟影棚拍摄的画面,我们的处理方式跟其他镜头是一样的,都要确保画面在技术上和美学上都看起来是最佳效果。出于技术原因,有几个在虚拟影棚拍摄的镜头和段落最后用传统的合成方式替换了背景,但虚拟制作可以实现交互式布光以及让演员可以对着真实画面表演的优势仍在。

我们在《曼达洛人》第二季对虚拟影棚素材的调色工作也差不多。但是,基于从第一季得到的教训,有的镜头被当作摄影机内成片,在调色过程中只是调整了某些元素——比如大气、布光,并修复了一些技术问题。摄影指导(DP)巴里·巴兹·伊多因(Barry Baz Idoine,ASC)邀请(完成片总监)史蒂夫·斯科特(Steve Scott)和我在他们拍摄第二季第5集的时候去参观虚拟影棚的使用,那是个美妙的体验。

《波西·杰克逊》(Percy Jackson and the Olympians)第一季开始的时候,虚拟制作早已真正发展起来,而我很幸运能在早期就加入项目处理了几个段落。DP皮埃尔·吉尔(Pierre Gill,CSC)和朱尔斯·奥洛格林(Jules O’Loughlin,ACS,ASC)需要一些360°环境用于夜间追车戏以及火车驶过3种不同风格的场景。工业光魔采用一个搭载有9台摄影机的装置拍摄了这两个段落,然后我与皮埃尔和朱尔斯协作为其调色。工业光魔随后将调好色的实拍原档拼接起来,形成一个360°环境,用于虚拟影棚上回放。

联合节目统筹丹·肖茨(Dan Shotz)和拍摄视效总监埃里克·亨利(Erik Henry)鼓励我尽我所能去“加上”任何来自虚拟影棚的摄影机内成片。想着这个需求,我在调色期间加入了很多个图层的大气、布光效果和镜头效果来辅助创造规模感、融合感以及纹理感。我确实感觉,给《波西·杰克逊》调色一直以来就是作为虚拟制作的一部分,而不只是在后期流程的结尾做最终调色。

在虚拟影棚环境中拍摄时,电影人要注意什么才能摆好自己的位置,在最终调色中获得顺畅的体验?

任何跟视效相关的拍摄都一样,要有清晰的构想,并且使用任何工具都要有正当的理由。如必要,我们可以在调色中做很多处理来辅助融合虚拟制作环境,但若对故事进行极端大改而导致原本剧情发生的时段发生改变,或者对环境进行了重新设计,那就会导致大量费时的视效工作,可能包括要逆向调整来自LED墙的一切交互式布光。虚拟制作是相当新的技术,但实体拍摄所需的预先计划、小心谨慎和拍摄规范同样应该投入到虚拟制作中。

在虚拟制作影棚上复刻明亮的正午阳光仍是个挑战——作为光源,太阳实在太大太亮,难以复刻。我听说,最好避免使用LED虚拟影棚来复刻早上11点到下午2点间明亮的户外照明条件。那个时间段之外更有可能实现逼真的效果。

在前期制作中让后期调色师加入,让他们成为LED墙上所显示内容的计划团队的一员,对一个项目而言有何好处?

尽早让调色师和调色团队加入项目有助于管理预期和改进工作流。

如果有调色师辅助创造将要回放到LED墙上的内容,那么弄清楚风格调节的极限很重要,因为LED墙上的图像要大得多,并且可能无法重现参考级监视器上同等的色彩保真度。

我相信大部分虚拟制作团队都有他们自己的调色师,那位调色师的工作就是专注于虚幻引擎或其他所使用的专用实时解决方案中搭建的虚拟环境。但我也很喜欢参与那个过程。能分享想法、诀窍和技法是好事,这样大家就可以更好地理解不同拍摄制作阶段会发生什么,并且最终能提升成片质量。

在最终调色中,对于LED虚拟影棚中采集的素材,你会用到什么不一样的工具吗?

其实没有。说到底,镜头就是镜头罢了。无论镜头是如何拍摄的,处理目标是不变的。要用任何恰当的工具来确保镜头符合故事。对于LED墙拍的镜头,我可能会用到更多布光或镜头效果,但我并不觉得那跟处理一个简单的对话场景有太大不同。任何有帮助的工具我都会用,无论处理的是什么镜头。

话虽如此,了解某个镜头是如何产生的确实会有帮助。若我知道一个镜头是使用蓝/绿幕合成的,我可能会本能地寻找蓝/绿溢光或蒙版边缘。或者如果某种颜色的色彩表现出乎意料,那可能表示,有太多的溢出抑制(spill suppression)。当面对LED虚拟影棚时,我可能会寻找摩尔纹,LED面板的缝隙,没擦除掉的第三视角记录摄影机(witness camera),或者可能我会有某个点子可以更好地呈现该镜头,因为我会知道虚拟影棚中的拍摄可能受到了怎样的限制。

虚拟制作对视效与最终调色之间的协作有怎样的影响或改变?

就像拍摄与后期阶段之间的界限一直在变得越来越模糊,视效与最终调色之间的界限也正变得愈发模糊。过去,我会开玩笑地把调色叫做“合成之精简版”或“瘦身版合成”。但随着调色工具不断进步,同时与Fusion这样的完整3D合成工具集成越来越成为常态,最终调色正在变成视效的延伸。若视效总监与调色师关系比较好,并且理解调色能够实现什么,那么他们就可以通过调色来计划去完成特定类型的工作,让已经非常忙碌的视效团队稍微减负。调色师还可以作为新鲜眼光,提供新视角,如果视效团队很长时间以来都在处理某素材,那么新视角会很有帮助。

我在虚拟制作中越来越多地见识到最终调色如何成为视效质控的安全网。因为我们调色师使用的是高端参考级监视器,并且大部分时间都以HDR监看,所以我们可能会捕捉到SDR监看难以发现的小问题,就算用的是高端消费级SDR监看设备。


Assimilate杰夫·埃德森(Jeff Edson)和马泽·阿德霍尔德(Mazze Aderhold)

Assimilate公司是Live FX Studio媒体服务器软件的开发者,这套解决方案可处理2D、2.5D、180/360和3D内容投影映射以及基于图像的照明,软件界面功能全面,简单易学。

杰夫·埃德森

你们的工具如何配合并增强虚拟制作工作流?

杰夫·埃德森:Live FX已成为基于图像的照明的行业标准。通过其简单易学的界面和功能丰富度,Live FX不仅能增强LED墙的虚拟制作拍摄,还有益于传统绿幕拍摄。它也是市面上唯一能够控制像Kino Flo Mimik这种视频灯具的软件。

Live FX Studio正成为中小型虚拟制作工作室的首选,因为它能提供稳定的2D、2.5D、360和180实拍原档工作流,以及快速而精简的虚幻引擎工作流。

此外,它自带所有专业创作人士所熟知的来自于后期的调色与合成工具,这样虚拟制作的操作者就可以快速响应DP对于布光或LED墙上内容色彩更改的要求。只需非常实惠的价格就能获得所有这些功能,这样项目拍摄还能使用原本的硬件基础设施。

马泽·阿德霍尔德

虚拟制作过去几年来在工作流的标准化方面有何进展?整体上有什么趋势?

马泽·阿德霍尔德:标准化?不存在的。真的,我们的每一位消费者都有他们自己独一无二的工作流——无论是用于绿幕、UE素材档、布光、高帧率运动控制还是勘景的移动式设置。技术指导忙于执行各种管线增强来让各个组成部分良好地配合起来。幸运的是,Live FX功能足够全面,可以跟尽量多的功能集成到任意复杂程度的任意图像管线中。

我们当前看到的是向更小型LED虚拟影棚发展的趋势,尤其是在企业应用领域。话虽如此,我们也受到了更大型的LED影棚的注意,我们现在正努力把新的工作流功能集成到Live FX中,以更好地服务于这些消费者。

Assimilate 首席创新官马泽·阿德霍尔德(Mazze Aderhold)在尊正2024 BIRTV展位上授课

运用虚拟制作有何好处?

埃德森:好处仍然是显而易见的那几个。出行成本降低,因为你可以把一个(或多个)拍摄地放到摄影棚里。此外,这能带来创意自由,因为你可以实现ICVFX——比如延时或地点跳转——无需进行数个月的后期制作就能看到最终效果。当然,这还能让规划变得更简单,因为黄金一小时你想要多久就可以拍多久。由于所需硬件的成本降低,对于较小型的项目来说,虚拟制作变得越来越可行,尤其是对于广告拍摄。

虚拟制作工作流中还有什么部分仍处于建立阶段,或者还需要一些处理/开发?

阿德霍尔德:我们确实看到了很多在高帧率运动控制拍摄方面的先锋尝试,最高可达240fps。

这些工作流在很多方面都还在建立阶段,而Live FX常常处于各种尝试的核心位置。ST 2110作为跨管线传输图像的一种方式,现在正是很多人在探索的东西,因为它有潜力大大简化项目设置。但是,目前对于长片电影的虚拟制作来说,它仍是一种处于发展初期的技术。可能未来更大的发展领域是场景生成工具的进步。2.5D+、神经辐射场(NERF)、高斯泼溅、生成式AI、实时渲染等等。虚拟美术部门(VAD)可用的技术真正出现了爆炸式井喷,而我们只是刚开始看到它们的潜力。

可以谈谈虚拟制作中在处理色彩方面的挑战吗?

埃德森:到目前为止,虚拟制作的色彩处理还只是顺势为之,应用得非常有限,具体办法是把LED处理器当成LUT盒子——另外的办法是在比较复杂的工作流中搭配虚幻引擎的插件和附加组件。所有这些解决方案要么功能有限,要么操作速度慢。

Assimilate在2024年北京BIRTV尊正展位进行虚拟制作演示

而这就是Live FX大展拳脚的地方了。无论是基于实拍原档的工作流还是使用USD场景、Notch blocks和虚幻引擎的三维工作流,Live FX都能提供操作便捷的工具组,只需转动一个旋钮就能微调虚拟影棚的色彩。其调色工具既有简单的lift/gamma/gain色轮,也有曲线、矢量图和自由形状,还有各种键控和效果插件。这是可以实时应用的真正创作自由,可以让LED墙的色彩到达新水准——实现完全的色彩管理。

另外一个愈发重要的功能就是经过色彩管理的舞台布光。如今许多灯具都可以在特定色彩空间中运行。Live FX可以以一种完全经过色彩管理的方式驱动舞台布光,以制造匹配LED墙上内容的具有连贯性的布光情景。当下,我们已经有布光程序员和灯光师出于这个理由将Live FX应用于主流流媒体剧集和好莱坞长片了。

图源:尊正2024 BIRTV虚拟制作区域

对于仍不太愿意使用虚拟制作的从业者,你想告诉他们什么?

阿德霍尔德:认真去了解一下这种技术吧,然后再考虑它是否对你有帮助。你的项目中有什么部分是用LED墙来拍摄最为合理的?这不是什么让你孤注一掷的提议。成本已经大幅下降。在很多情况下,相较于实地拍摄,用LED墙拍摄能省钱省时。这里的成功关键在于妥善进行前期制作。大量曾经主要到后期工作流才要进行的工作必须挪到前期制作中,并且要提前对内容进行锁定和测试。在虚拟制作中,最重要的就是做好准备,并清楚自己想拍什么。

有没有什么我们没问到,但很重要的事情?

埃德森: 欢迎大家前往www.assimilateinc.com获取免费试用版,看看Live FX可以如何融入你的工作流。我们在YouTube上有一系列教程,帮助用户即刻开始使用软件,但如果你在测试过程中遇到任何阻碍,我们也很乐意通过客服邮箱帮助大家。


Company 3吉尔·博格达诺维奇(Jill Bogdanowicz)

Company 3公司为长片电影、广告、MV和电视节目提供后期制作、调色和实地服务。

从调色师的角度看,你参与的项目中所涉及的工作流和技术发生了怎样的进步?

据我观察,有的时候,很多拍摄流程会让电影人用虚拟影棚来获得他们想要的布光,并让演员和片场所有人看到镜头中发生的事情。然后视效团队通常会使用传统合成工具替换掉LED墙上的部分或甚至全部图像。

在虚拟影棚环境中拍摄时,电影人要注意什么才能摆好自己的位置,在最终调色中获得顺畅的体验?

这项技术一直在变化,但其应用也取决于虚拟影棚环境的目的。如果是用来给片场人员和剪辑师与视效团队当作参考指导,那么重点就在于要确保图像之间能对齐,让墙跟布景有正确的透视。若你希望在成片中保留部分虚拟影棚拍的素材,那么你还必须非常小心像素化的问题。而如果你要平移摄影机,可能会出现画面延迟。这是可能发生的一些传统问题。但还是再次说明,这项技术正在飞速变化,并且制造商都在试着解决很多这些情况。

能否例举在虚拟影棚环境中,哪种应用更可能或更不可能用作成片的一部分?

如果用LED墙来显示占图像相对较小部分的东西——可能是窗外发生的什么——比起用LED墙来代表整个庞大的世界,更小区域的内容更有可能被收入成片。

让后期调色师加入前期制作如何有益于一个项目?换句话说,让后期调色师成为LED墙上所显示内容的计划团队的一员,对一个项目而言有何好处?

我看到过、也批准过很多那样的前期图像。那时候会发生一些调色类型的工作,然后就会在拍摄过程中加入色彩调整以匹配剧组在LED墙前使用的布光。我就有在项目早期辅助过这种流程。

但那个流程很简单。他们能做到的调色也很有限。并不是说在这步就能开始对画面加Power Window或做很多细致的处理了。有人专攻那项技术,那批人已经习惯于在限制条件下工作了。当然,那些工具也在不断变化。

虚拟制作对视效与最终调色之间的协作有怎样的影响或改变?

我只能说,在大厂的项目中,虚拟制作通常还是视效部门的主场。虚拟制作确实会落到视效的范畴。如果视效的人决定,他们需要用传统特效替换LED墙素材,那么他们就会去做那部分的视效工作,然后给我提供蒙版,然后我帮着精修完成后的图像。如果他们原封不动保留摄影机内拍到的素材,那我就像给全真人场景调色那样来调色。


Blackmagic丨戴夫·霍夫曼(Dave Hoffman)

Blackmagic公司为长片电影、后期制作、虚拟制作和广播电视行业制造各类产品。

你们的工具如何运作,它如何增强虚拟制作工作流?

用户会将达芬奇用于虚拟制作,用于前期制作,用来制作LUT,创建视效实拍原档,进行现场调色,以及将各种要用于LED墙的视效实拍原档素材拼接起来。

我们的数字电影摄影机凭借其高分辨率,已被用作虚拟制作片场的主摄影机,同时它们也是拍摄视效实拍原档的热门选择。一个很好的例子就是Ursa Mini Pro 12K OLPF摄影机,它自带光学低通滤波器。这最大限度地降低了会引起烦人的摩尔纹和混叠的干扰模式。这款摄影机还融入了更新的红外过滤功能,以改善远红外的色彩响应,此功能结合Ursa Mini Pro 12K OLPF的Blackmagic RAW处理,能保留色彩和关键图像细节,实现高图像保真度。

我们的Ultimatte实时合成处理器数年来一直用于虚拟布景和绿幕设置中,现在它还应用到了虚拟制作上。Ultimatte能实时交付逼真的键控抠像。它能修正每根发丝、阴影或干扰观众的其他图像部分。你可以用Ultimatte来进行previz工作,这样演员和导演就能在拍摄的同时看到场景。

在虚拟制作项目中我最喜欢的Blackmagic产品之一,跟“视效教父”、Stargate的山姆·尼科尔森(Sam Nicholson)有关。他使用13台Blackmagic摄影机(5台Ursa Mini Pro 12K,8台Pocket Cinema Camera 6K Pro)搭配达芬奇来制作HBO剧集《海盗旗升起》(Our Flag Means Death)。

山姆的团队制造了一个360°摄影机装置来拍摄海洋场景。他们依靠摄影机的高分辨率和Blackmagic RAW高效的数据输出。由于以Blackmagic RAW拍摄,他们能够在达芬奇中以不同分辨率查看实时回放。

他们的素材通过达芬奇的Fusion页处理,然后将实拍原档拼接起来。随后,Stargate团队使用一台Blackmagic ATEM Constellation 8K现场制作切换台从9个达芬奇系统中创建一个实时信号,同时有一个经过最终调色的合成发给虚幻引擎用于摄影机跟踪和离轴分布。但Stargate团队还搭配我们的HyperDeck Extreme 8K HDR录机使用达芬奇录制了超大分辨率的图像,并让它们可以即刻回放。

我觉得《海盗旗升起》就是虚拟影棚项目每个步骤中如何使用拍摄与后期工作流的典范。这个项目甚至还用到了一些现场直播技术,比如现场制作切换台,这是我认识的一些后期制作总监等了好几年想尝试的东西。

运用虚拟制作有何好处?

虚拟制作已经存在了几十年。大家想想加里·格兰特(Cary Grant)和《西北偏北》(North by Northwest‎)中的飞机。 但与数字物体实时互动并创造逼真的虚拟布景的能力让虚拟制作焕然新生。

(有了虚拟制作)任何演员都能在可以想象出来的一切地点表演。实景拍摄虽好,但成本很高,并且不可能完全受控。况且在另一颗星球上或在存在次元界里拍摄可不涵盖在保险条款里。

另外,虚拟制作能给予更多布光自由。

虚拟制作过去几年来在工作流的标准化方面有何进展?整体上有什么趋势?

总的来说,我觉得最大的虚拟制作趋势是现在谁都可以使用它。除了每每听到《曼达洛人》的应用,我还听闻有很多教堂和高中,在各种尺寸的LED显示设备前进行拍摄,并使用达芬奇和各种Blackmagic硬件。

技术上,我认为虚拟制作最重要的发展,是围绕人人都能负担得起高分辨率摄影机。一个很好的例子就是,视效公司可以负担得起拍摄自己的8K和12K视效实拍原档素材了。

另一个发展是,电影片场以及后期艺术家越来越多地用起了本来被认为是属于广播电视的技术。对于迪士尼的真人版《木偶奇遇记》(Pinocchio),虚拟制作总监吉姆·杰多尔迪克(Jim Geduldick)使用了Ultimatte 12处理器和HyperDeck Studio 4K Pro广播录机来集成Simulcam协同工作摄影系统:它是将虚拟物体与真人实物,与虚幻引擎的实时3D CGI创造物的实时合成。这就得以让摄制组的任意成员以及演员们实时控制虚拟物体并对其做出反应。

至于标准化的工作流,我觉得我们尚未达到“每个人都该这样工作”的地步,但我认为,现在有这么多不同的虚拟影棚拍摄方式,我们一定会持续看到新的操作方式。

虚拟制作工作流中还有什么部分仍处于建立阶段,或者还需要一些处理/开发?

媒体素材管理。文件体量是很大的,而且每个数字资产都需要随时对所有人可用——尤其是在片场,片场的DP、视效人员和掌机们都需要一起实时协作。若有一个人做出了某个布光决策,那会影响每个人。

所有影响标准电影工作流的媒体素材管理、安全性和基于云的后期制作问题都被虚拟制作放大了。但我认为,这些是众所周知的挑战,而每次我跟消费者沟通的时候,我都觉得我们在靠近理想目标。

可以谈谈处理色彩和虚拟制作的挑战吗?

如果你不提前花时间好好想想色彩和布光问题,那你就不会成功。要把实体布景与气氛效果和一个虚拟背景融合起来有可能是个复杂的过程。

色彩不应该是拍摄和后期过程中一个变化的变量。色彩要与校正结果保持一致,并且在开拍前就要对LUT和色彩管理工作流取得一致意见。并且要在片场安排了解色彩科学和色彩管理(比如ACES)的人,还要跟每日样片技术员沟通,这样在拍摄日他们才能随时解决随时出现的问题。

拍摄总是会出现各种问题的。导演的创意决策会影响布光和色彩,而那样的色彩变化需要针对画面中的每个数字物体进行管理。LED墙可能看起来比较柔和,因为LED面板的分辨率有限。而外部布光可能导致反光问题。

所以,要确保身边有一个熟知色彩工作流的人。

虚拟制作中一个典型可体现色彩重要性的例子就是Netflix的剧集《1899》。它的拍摄是在一个可360°旋转的转盘上搭建的270°环形LED墙完成的。Basis Berlin公司的调色师史蒂芬·保罗(Steffen Paul)用达芬奇处理了该项目的UHD HDR调色。

作为该剧的调色师,保罗在前期制作和测试期间就开始参与项目。他帮助搭建了一条有拓展空间的色彩管线,并且他还生成了一个用于所有监视器和每日样片的LUT。更重要的是他还在不同的视效公司和剪辑室之间设立了色彩管线。

在图像锁定后,保罗使用达芬奇配合ACES色彩管理进行了CDL套底色彩转换,并使用showLUT为DI调色创造了起始基础。

对于仍不太愿意使用虚拟制作的从业者,你想告诉他们什么?

别把虚拟制作想得太狭隘。它既可以是《曼达洛人》那种规模的,也可以是一个单监视器的项目。重要的是让项目看起来逼真可信。对虚拟制作的预期是,背景和表演看起来不能不同步,因为如果不同步,干嘛还要用虚拟制作?

虚拟制作也不是一个非此即彼的决定。很多时候,虚拟制作是这种拍摄模式用到一点,那种拍摄模式用到一点。我参与过很多拍摄是影棚一侧是LED墙或微型虚拟影棚,而另一侧是绿幕。每种拍摄模式在虚拟制作过程中都有自己的一席之地。有了更多选择,创意团队就一定能拍到他们想要的镜头。

实现虚拟制作的技术现在价格实惠了,也更普及了。没有什么可以阻止你进行实验和学习。


Wasabi Technologies丨惠特·杰克逊(Whit Jackson)

Wasabi公司是一家位于波士顿的对象存储服务供应商,出售云存储。

你们的工具如何运作,以及它如何增强虚拟制作工作流?

虚拟制作是数据密集型的工作,需要跨各地的专门团队把故事化为现实。越来越常见的是,虚拟制作团队会利用云存储和文件共享解决方案来创造一个可从任何地方访问的协作集中地。但是,为了对虚拟场景、剪辑或视效工作进行调整而持续访问数字资产的需求常会导致云预算超支,而在Wasabi的媒体与娱乐云存储指数调查报告中,我们发现79%的媒体与娱乐业组织机构都因为预料之外的费用而在他们的云预算方面超支。

跟传统云存储公司不同的是,Wasabi可以免数据出口费和API请求费让制作团队存储和访问他们的文件,这就能得到一个更可预测的存储开支。Wasabi创造了一个集中化的兼容S3的云环境,它无缝集成了各种行业领先的文件共享解决方案——比如LucidLink Filespaces和媒体资产管理系统——为分散各地的团队精简制作工作流,这样他们就可以在任何地方访问媒体文件。媒体资产以其原始格式得到永久保护,让视频保持安全状态,免受意外的人为失误或干预、数据遗失、停电、或其他潜在威胁的冲击。

虚拟制作过去几年来在工作流的标准化方面有何进展?整体上有什么趋势?

虚拟制作发展迅猛,现在不只应用于大片的制作中,也应用于独立电影项目、广告、甚至企业营销当中。各种将真人拍摄与虚拟环境和实时视效结合起来的工作流现在都可以按需增减规模,以服务不同的需求和预算。有了将前期制作、拍摄和后期制作流程集成起来的全新统一管线,不同制作阶段之间的过渡就会更加顺畅,减少从一个阶段转向另一阶段的时间和精力。

鉴于这种技术的特性,需要有更专业的人才来处理媒体文件,而主创几乎可以身处任何地方工作。因此,云技术对于实现远程协作来说是不可或缺的,并且更有性价比。

运用虚拟制作有何好处?

如今的项目预算审议更小心谨慎,并且绿灯批准的项目数量越来越少。结果就是,虚拟制作越来越成为创意群体在预算限制下讲述自己故事的基操。

创意团队现在可以(通过虚拟制作)把演员带入任何环境。无需搭景,也不用前往偏远的取景地。导演可以在现场看到最终镜头,可以按需调整,进而减少后期处理的时间。

这样的灵活度也扩展到了后期制作,因为虚拟制作精简了对视效和CGI元素的集成,将大量后期制作工作的需求最小化。虚拟制作赋能电影人突破界限,增强叙事,既能交付视觉呈现惊人的内容,同时又能改善制作工作流。

虚拟制作工作流中还有什么部分仍处于建立阶段,或者还需要一些处理/开发?

制作工作室和电影人需要从一开始就更有策略地构思故事如何化为现实。前期制作和规划在虚拟制作中愈发重要,因为虚拟环境是提前创建的。

一般跟后期制作相关的创意决策现在成为了前期制作阶段的一部分。为了让协作更为高效,要率先解决网络连接、存储和新出现的文件共享问题。

虚拟制作会很快生成海量数据,并且让公司自有的存储环境无力招架,因此需要云。不能低估被生成的、移动的和被管理的大量数据集,这些都是仍需优化的领域。

可以谈谈数据管理和虚拟制作的挑战吗?

通过减少拍摄地、实体布景和片场所需人员数量,虚拟制作降低了内容制作成本,但成本转移到了技术和云上。

复杂的3D建模、实时渲染、多机位设置和动作捕捉生成了大量数据。这惊人的数据量需要广泛的存储解决方案和高带宽网络来应对这些数据的高效传输和访问,无论是在本地还是云上。

利用云服务将数据从公司自有服务器转移到一个更有弹性的存储选择上有助于保持实时剪辑的高性能,但若管理不善则会导致高额的运营成本。监测并控制云的使用对于防止超支至关重要。

要在开始项目前设置好网络和技术堆栈。由于数据强度会随工作流而变化,你需要创造一套可持续且灵活的技术基础设施来支持拍摄、剪辑和分发工作流。

对于仍不太愿意使用虚拟制作的从业者,你想告诉他们什么?

虚拟制作不仅能让你讲述更有想象力的故事,还能让创作者削减成本,加快作品投入市场的时间,并将项目的投资回报率最大化。虚拟制作的技术、人才和设置都有了……是时候入局了。

虚拟制作对作品质量、出行费用等等有何好处?

虚拟制作能减少需要为拍摄设置的取景地数量,同时还能减少所需人员。你可以削减大部分的外景实拍和出行。这对可能出现的补拍也很有帮助,因为现在补拍可以在一个地点一起完成,而本来补拍是可能导致项目延迟的。

至于作品质量,虚拟制作让你能够聚集来自全球的人才,引入更广泛的人才库和更多样的视角。团队成员可以从不同时区工作,提供更灵活的项目日程。这能提高生产力,因为团队可以在各自的高峰时段工作。

项目完工时间线得到了保障,因为远程工作模式可以让制作团队日夜不停地工作。

有没有什么我们没问到,但很重要的事情?

备份。无论你的虚拟制作工作流是基于公司自有设施还是云设施,你都需要有一套稳健的备份策略,要为关键资产在不同地点准备第二和第三份拷贝。一旦拍摄杀青,主动存档的重要作用不仅在于长期保存媒体资产,还在于可以让那些资产随时可为其他项目所用,进行创意审片或再次变现。


Meptik丨安德鲁·阿马托(Andrew Amato)和朱丽安娜·梅尔卡多(Julianna Mercado)

Meptik公司提供LED虚拟影棚安装、虚拟场景设计、增强现实和沉浸式体验。

安德鲁·阿马托

你们工作室提供哪些虚拟制作服务?

安德鲁·阿马托:Meptik是一个一站式虚拟制作合作伙伴。在创意团队与技术团队相互协作下,我们提供天衣无缝的虚拟制作体验。我们的内部虚拟美术部门专门从事实时3D环境的制作,为电影、广告拍摄、广播电视和企业活动交付电影级背景。

在技术层面,我们可以处理虚拟制作的方方面面,涵盖从设计到安装LED虚拟影棚,到提供片场操作服务。我们的技术团队与虚拟美术部门密切协作,确保内容得到优化,以融合到LED环境中。此外,我们刚引入了Meptik Studio Pro——这是我们现成可用的虚拟制作解决方案:这一套简单好用的方案就把前沿技术、全天候支持和培训全包了。

过去几年来虚拟制作流程有何进步?一段时间以来,各个工作室都在开发各自的工作流。这有变得更为标准化吗?

阿马托:虚拟制作的发展进步映照的是一切新技术或工作流的成长。早期阶段,技术的应用是复杂笨重而昂贵的,而且需要进行大量即兴发挥。但随着越来越多人参与进来,更聪明的工作流应运而生,让整个流程更为高效和经济实惠。但我们还未达到虚拟制作的“终极形态”。虽然仍有成长空间,但现在的虚拟制作远比几年前更普及了。

至于标准化,那是个有趣的点。你会看到自由职业者、独立工作室和头部公司都在探索这个领域,所以并没有一体适用的方式。从我的经验来看,大家都更关注什么方式针对特定项目最有效,而不是固守某种僵化的标准——并且这种行业现状目前看起来不错。

朱丽安娜·梅尔卡多

对于入局虚拟制作还感到有点紧张的人,你想说什么?运用虚拟制作有何好处?

朱丽安娜·梅尔卡多:最大的好处之一在于你可以快速迭代。虚拟制作可以让每个人得到的信息都一致,让大家带着自信投入拍摄,尤其是准备了制作好的可视化预览的时候。它还可以降低前往偏远或危险拍摄地的需求,节省时间又降低风险。

阿马托:如果你觉得紧张,我觉得你其实并不需要非把一切都想明白。你并不需要知道每一个细节——只需要掌握足够的信息能让你问出正确的问题和做出明智的决定即可。关键在于找到你信任的合作伙伴来处理重点任务。仔细查看团队的个人介绍,随时可以要一些制作公司的推荐。那么一来,你就可以确保你是跟有经验的对象合作,而他们知道自己在干什么。

虚拟制作流程中的什么方面仍需开发或者难度更大?调色?

阿马托:同时跟多家制作公司合作一直都挺有难度的。虽然一些艺术家可以直接以直拍实现成片级的质量,但能做到那种程度的人并不多。当你在管理多家公司之间的工作流时,要弄明白什么需要后期制作视效,什么保持直拍“成片”,还挺棘手。那种时候拥有一位强大的虚拟美术部门(VAD)总监和一位视效总监就变得至关重要,两位需要同步协作。他们真正能够提高协作效率,并让一切保持正轨。

梅尔卡多:挑战之一在于,虚拟制作仍需要大量的技术和专业投入,但那也是潜力之所在。这项技术正在快速进步,虽然实时渲染和实现成片保真度很复杂,但每个项目都在突破界限,让我们离更便于使用的解决方案越来越近。虚拟制作所需的专业技能可能令人望而却步,但它们也为专业人士掌握前沿工具打开了绝妙的机会。随着更多人才进入此领域,我们预期会看到工作流变得越来越精简,让虚拟制作更为强大,适合更多项目。

你们的工作流中使用的是什么工具?

梅尔卡多:我们使用各种工具,比如Unreal Engine、Notch、Disguise和Stype等等。有时候我们甚至会在Unreal当中搭建自定义工具来解决特定项目需求。

如果有必要,我们还会从专门商城购置工具或资产来精简制作流程。重点是要正确搭配不同技术来为每个项目交付最佳结果。

你们最近参与了哪些项目?虚拟制作在质量、预算、缩减足迹(减少外拍等等)方面有何帮助?

阿马托:为了一个近期的项目,我们搭建了5个完全独特的环境——分别是沙漠场景、郊区后院、社区中心、办公楼和大峡谷国家公园——仅4周全部完成。每个环境都达到相片级真实,在虚拟影棚中,没有哪个需要任何后期视效。我们实时拍摄了一切,没有烧入布光或天气特效。我们的预布光日提前4小时收工,而实际的拍摄也比原定时间提前4.5小时结束。我们还在预布光那天录制了我们的彩排,创造了一个我们在视频监看点展示的同日“previz”,方便演员们清晰地了解拍摄当天需要发生什么。虚拟制作让整个过程极度高效。


Pixotope丨马库斯·布罗德森(Marcus Brodersen)

位于挪威奥斯陆的Pixotope公司致力于普及虚拟制作,以方便好用的解决方案为内容创作者赋能。

你们的工具如何运作,它如何增强虚拟制作工作流?

Pixotope的平台将品质达到影视级的直播视频与实时图形相集成进行虚拟制作。这套系统涵盖了增强现实(AR)、虚拟演播室(VS)、基于LED的工作流(ICVFX和XR)以及实时动态图形,融合这几种虚拟制作技术提供具有一致性的工作流。

我们的设计注重可及性和易用性。摄影机跟踪、演员跟踪和背景分割工具旨在简化复杂的流程。这种方式可以减少对多位技术专家的需求,为凭更小规模的团队实现高品质结果提供可能。

近期的发展包括:Pixotope Living Photo,它能将360°素材转变为3D AR资产,集成到多种工作流中;Pixotope Fly是一套无标记、透过镜头的摄影机跟踪解决方案,无需额外硬件即可操作,可实现无人机和索道摄影机(cable cam)的跟踪;以及Pixotope Reveal(IBC 2024上发布)——它使用机器学习,无需绿幕即可进行实时背景分离,旨在扩展将直播视频与图形相结合的可能性。

通过在单一平台内解决各种虚拟制作需求,Pixotope旨在通过简化流程和降低技术门槛来增强工作流。各种工具的设计目的是以更多创意选项来实现高效的拍摄制作。随着虚拟制作技术的进步,Pixotope继续开发各种解决方案——我们的目标是让更广大的创作者用上高级的拍摄制作技巧。

虚拟制作过去几年来在工作流的标准化方面有何进展?整体上有什么趋势?

虚拟制作近几年有了长足发展,一些有意思的发展成果正塑造着这个行业。我们见到的最大的转变之一就是作为虚拟制作首选渲染引擎的虚幻引擎的崛起。自从它在大概10年前开始受到广泛应用,如今它真正成为了行业“C位”。虚幻引擎性能的迅速提升——比如实时全局照明,光线跟踪阴影和反光,以及处理大量几何构造的能力——为我们能在虚拟制作中实现的事情打开了全新可能性。

与软件进步携手并进的是我们看到的硬件性能方面令人惊艳的提升,尤其是GPU方面。这些进步不仅突破了渲染的边界,同时也为在虚拟制作工作流中集成机器学习开辟了道路,这相当令人兴奋。

https://virtualproducer.io/wp-content/uploads/2024/04/VPNAB_Pixotope.jpg

至于标准化,我们正在不断进步,但仍须继续努力。虽然我们正看到围绕虚幻引擎的内容创造出现了一些标准化,包括OpenUSD这样的倡议,但专门针对虚拟制作的标准仍在发展过程中。我们乐见OCIO作为一种色彩管理标准得到了认可,而且现在业内正在积极努力推动摄影机跟踪和镜头数据方面的标准。但是,这些标准都仍在开发过程中,可能需要花上一段时间才能完全实现。

在应用方面,虚拟制作实现腾飞的一个领域就是广告。我们正看到越来越多的广电方使用虚拟制作去创作能与他们的节目无缝融合的智能广告。这个方面一个绝佳的例子就是TFG为嘉年华集团Celebration Key所做的混合现实广告。他们刚好在美国国家橄榄球联盟比赛前播出那支广告,把一座虚拟的热带岛屿带到了观众的客厅。这是虚拟制作如何在创造有参与感和沉浸感的内容的同时还能为投资带来稳健回报的绝佳例子。

运用虚拟制作有何好处?

虚拟制作的好处多种多样,要取决于所创建的内容类型和目标受众。但是,我们明确了虚拟制作能为媒体创作者提供重要价值的5大领域:

第一,虚拟制作可以实现更有参与感的内容创作。随着传统分发模式失去独有性,广电方需要与更优质的内容竞争。虚拟制作给予了创作者自由,可以培养出过去不可能实现的创新想法。这对于锁定高价值观众尤其有效,比如年轻群体,他们对虚拟制作的美学和交互性有很不错的反响。

降低成本是另一个关键好处。虚拟演播室所占空间比实体布景要少,从而降低演播室租金。虚拟演播室还改善了资源利用,通常能将演播室的使用从每周几小时拍摄一个专用实景,提升到每周几十小时拍摄多个节目。这显著提升了投资回报率。此外,虚拟制作还能降低布景和相关资源的维护成本。当虚拟制作替代片场拍摄时,它能大大节省出行和后勤费用。

还有一个常被忽视的好处是,设计和内容资产的回报率也得到了提升。有了虚拟制作,这些资产就可以轻松地跨多个频道、季节和节目进行重复利用和改造利用。虚拟制作还能促进拍摄的集中化和虚拟化,进一步节省费用。

近来,虚拟制作已经体现出了开辟收入来源的潜力。虚拟制作通过独特的摆放位置可以在节目内容中增加不突兀的广告,为IP所有者创造出有价值的全新打广告机会。

可持续性也是虚拟制作遥遥领先的一个领域。实体基础设施和出行/后勤的减少不仅可以削减成本,还可以大幅改善项目的环境足迹。

最后一点是,虚拟制作可以成为一种强有力的人才储备工具。调查报告一直显示,年轻的专业人士优先考虑创新和前沿的工作场所,这使得虚拟制作成为招募顶尖人才的吸引力。

虚拟制作工作流中还有什么部分仍处于建立阶段,或者还需要一些处理/开发?

虚拟制作已经实现了大步前进,但有几个方面还有发展上的挑战与机遇。这些方面对进一步扩大应用范围和虚拟制作技术的进步至关重要。

大规模应用虚拟制作的主要阻碍仍然是成本、技术技巧,以及高品质摄影机、镜头和演员跟踪相关的复杂性。这些元素对于将视频与图像逼真融合是不可或缺的,但它们通常需要专业设备或专业技能。

跟这个密切相关的是视频元素分割方面的挑战。这不仅包含了前景和背景的分割,还包含将一个场景内的个别物体与人分隔开的能力。此外,还需要有更好的工具从视频素材提取布光、纹理和几何信息。所有这些因素共同造就了视频与CG图形的无缝融合。

从积极的角度看,这些方面正在取得进展,主要是基于机器学习的系统的快速进步驱动了这些进展。这些AI驱动的解决方案正在开始解决很多过去需要大量人工处理、专业技能和专门硬件来解决的技术挑战。

扩大虚拟制作应用的另一大主要障碍是创造高品质内容所需的高技能水平。虽然传统工具和培训继续在发展,使得内容创作更触手可及,但我们期望会出现全新的处理手段。这些新方法(极有可能利用生成式AI工具)很可能大幅降低创造逼真虚拟制作内容的技术门槛。

随着这些挑战得到解决,我们期待看到虚拟制作变得越来越普及,并在媒体娱乐行业的各个领域得到广泛应用。

可以谈谈处理色彩和虚拟制作的挑战吗?

虚拟制作中的色彩管理是一个复杂的话题,面临着多重挑战。虽然这个话题过于深刻,这里无法完全讲透,但我们已经明确了几大关键领域,并开发了应对它们的工具:

艺术家意图:保留艺术家构想在色彩管理中无比重要。这可能是很主观的东西,比如某种情绪或感觉,也可以是很具体的东西,比如某个品牌的LOGO色。挑战在于要在整个工作流中,从最初的概念到最终的发行,保持观感的一致性。在Pixotope,我们使用OpenColorIO管理系统搭配ACES标准。这种方法可以实现不同观看设备之间可预测的色彩转换,确保了一致性(假定设备经过妥善校正)。

线性光合成:在Pixotope,所有色彩——无论是拍摄到的还是渲染出来的——都由参照场景的线性值来表示。这种方式确保了来自各种源的色彩都在同个空间中表示出来,实现无缝融合,不会有意料之外或不逼真的结果。

非破坏性色彩处理:为支持线性光工作流,我们贯穿整个制作管线将所有色彩值都作为32-bit浮点值来处理。这能避免数据丢失——而在非浮点系统中,数据丢失往往会导致白场裁切或压黑等问题。

弥合电影与广播电视工作流:OCIO、ACES和线性光工作流等概念都是电影制作行业所熟悉的,尤其是对于视效艺术家来说。但是,广电方过去面对的是不同的标准和挑战。自从虚拟制作融合了视效和电视直播,我们就在努力统一电影和电视之间的色彩管理概念。

针对LED和XR的挑战:ICVFX和XR设置带来了独特的色彩一致性挑战。我们的工具可以让用户根据摄影机所见来配置LED墙,将特定摄影机风格纳入考量。这种优化可以确保LED墙得到一致的输出,并完美匹配AR场景扩展。

对于仍不太愿意使用虚拟制作的从业者,你想告诉他们什么?对作品质量、减少出行之类的好处?

谈及应用虚拟制作,首先一定要明确自己作为媒体创作者的主要挑战。虚拟制作可以应对各种各样的需求,所以理解你的特定目标是关键。

若你的主要关注点是增加制作价值和观众参与度,那就考虑一下有什么是你想实现,但似乎超出了你现有设置的范畴。虚拟制作可能是将那些充满雄心壮志的想法化为现实的解决方案。它可以打开创意可能性的大门,实现过去因为后勤或预算限制无法实现的东西。

对于时间紧迫或预算有限的创作者,虚拟制作可能可以破局。虚拟制作能在更小空间快速完成拍摄,有可能降低实地拍摄、搭景和出行相关的成本。这种效率不仅能省钱;它还能形成一种更精简、灵活的拍摄流程。

确实,最知名的虚拟制作的例子是那些大规模、复杂的顶尖项目。那些高端用例可能给你留下的印象是,虚拟制作执行起来总是很难、很贵。但其实不全是如此。现实是,大部分日常虚拟制作都是冲着最少的操作和成本而设置的。

许多项目都成功进行了虚拟制作技术的小规模运用,将其无缝衔接到他们现有的工作流中。这些设置按需可繁可简,视每个项目的特性要求而定。

关键是从小规模着手,找到虚拟制作可以为你的特定拍摄需求增值的地方,然后逐渐壮大自己的能力。有了正确的办法,虚拟制作对任何水平的创作者来说,都能成为可以上手且非常强大的工具。


Cube Studio的詹姆斯·哈克斯里(James Hakesley)

位于伦敦的Cube公司承接各种体量的项目,同时提供全面的虚拟制作服务。

你们工作室提供哪些虚拟制作服务?

Cube Studio提供的虚拟制作服务包括前沿的固定虚拟制作影棚、移动影棚设置和完整的拍摄制作服务。我们把最新的虚拟制作技术带到你的拍摄地,或者你也可以使用我们专为天衣无缝的内容创作而设计的设施。此外,我们提供创意咨询、虚拟美术部门和虚幻引擎环境创作、摄制人员和设备。我们还专门从事虚拟制作影棚的集成、设计和搭建工作。

过去几年来虚拟制作流程有何进步?一段时间以来,各个工作室都在开发各自的工作流。这有变得更为标准化吗?

虚拟制作大有进步。如今已不再那么野蛮生长,从自定义、工作室特有的工作流转向了更为标准化的流程。最初,各工作室都在打造自己的方法来将虚拟制作融入传统电影制作。但是,随着技术进步,行业标准出现了,进而协作变得更为顺畅,不同项目之间能得到更一致的结果。如今,虚拟制作工具与协议的生态仍在成长,那使得虚拟制作更触手可及、更高效——这开辟了更多创意可能性。

对于入局虚拟制作还感到有点紧张的人,你想说什么?运用虚拟制作有何好处?

入局虚拟制作看似令人害怕,但它其实没有大家想的那么复杂,并且所得到的好处远远多于挑战。虚拟制作能提供无可比拟的创意控制,让你可以突破创意界限,实现实时可视化和调整。通过最小化实地拍摄需求,它还可以大大减少成本和对环境的影响。我们对项目每个阶段提供支持,涵盖从一开始的咨询到最终的交付,为制片人初探虚拟制作化解风险。电影制作的未来已来,这正是加入其中的令人兴奋的时机。

虚拟制作流程中的什么方面仍需开发或者难度更大?调色?你们的工作流中使用的是什么工具?

虽然虚拟制作已经有了巨大进步,但某些方面,比如调色和实时渲染,仍然有不少挑战。跨多种设备和屏幕实现一致的色彩精确度是至关重要的,而那需要专门的工具和专业技能。我们一直在探索新的软硬件解决方案来增强我们的工作流。这些领域持续的发展会进一步简化拍摄制作流程,并提升成片质量。

你们最近参与了哪些项目?虚拟制作在质量、预算、缩减足迹(减少外拍等等)方面有何帮助?

在近期的项目中,虚拟制作证明了它是克服各种挑战的完美解决方案。比如,我们制作了一支广告,它需要在全球各地无缝转场;还有一个叫《The Edenbound》的短片设定在太空船里;以及一次讲求效率、聚焦产品的拍摄。虚拟制作让我们将出行需求降到最低,减少了碳足迹,创造了独特的环境,并优化了时间线和预算——这些使得虚拟制作成为现代项目不可或缺的工具。


出处:Randi Altman | postPerspective

翻译:LorianneW | 盖雅翻译小组


您可能感兴趣以下阅读:

技巧:用衍射消除摩尔纹(上)

技巧:用衍射消除摩尔纹(下)

回顾2023虚拟制作圆桌访谈

什么是SMPTE ST2110?

views
行业观察
“Netflix认证”摄影机真的重要吗?

〖更新至2-3〗Netflix已打造出自己是原创流媒体内容标杆的形象,由此还形成了特定一套用于拍摄其4K原创内容的摄影机要求。他们维护着一份“Netflix认证”摄影机专有列表,其中包含各种高分辨率、大传感器电影摄影机。但在一个甚至连智能手机都可以拍出惊艳电影级画面的时代,Netflix的认证流程还有意义吗?

行业观察
爆款影片难敌2024北美票房降势

2024年,北美票房收益交出的最终成绩单超过87亿美元(约合人民币638亿元)。虽然相较于2023年文化现象级院线大片影响力下达到90亿美元,2024年北美票房下降超3%。

行业观察
卡伦·凯利的调色理念

调色涉及操纵视觉图像的色彩与色调来实现特定美学或情绪。这种艺术形式需要大量技巧与经验,而调色领域中像卡伦·凯利(Cullen Kelly)这样的佼佼者凤毛麟角。