多伦多卡列登足球俱乐部广告采用Pixomondo（PXO）公司在虚幻引擎中开发的全新人群系统以虚拟制作技术拍摄完成。为了本次虚拟拍摄，Pixomondo的合作方包括：alter ego、William F. White International Inc.和Virtual Production Academy。

多伦多卡列登足球俱乐部广告幕后与正片

这支电视广告是虚拟制作在人群模拟方面的巨大进步。市面上的许多虚拟影棚只能提供远景或远距离环境。PXO则欢迎为虚拟制作注入更进一步的鲜活感，Epic在虚幻引擎中发布的大量性能提升辅助实现了这一点。这支广告的拍摄过程中，制作团队需要摸清并创新一系列虚拟制作的关键方面：

•高速拍摄下的人群动画，模拟帧率达800 fps

•烟幕影棚中拍摄时的黑电平

•从真实草皮地面到涉及大量运动场面的体育馆草皮之间的摄影机内无缝过渡

•将他们的虚拟制作从UE4过渡到UE5

•通过高效的静态网格实例化等功能来实现可靠的利用动作捕捉人群的虚拟制作性能

Fxguide与PXO的首席创意官兼首席创新官穆罕默德·拉赫纳马（Mahmoud Rahnama）以及在伦敦创造了PXO人群系统的虚幻引擎技术美术师加迪斯·库泽涅斯科（Gatis Kurzemnieks）坐下来进行了一番技术问答。同时，我们还跟来自alter ego的联合导演大卫·怀特森（David Whiteson），来自alter ego的摄影指导（DP）埃里克·惠普（Eric Whipp），来自William F. White International的虚拟制作总监爱德华·汉拉罕（Edward Hanrahan）和多伦多PXO虚拟制作经理杰克·查德威克（Jack Chadwick）聊了聊。

问：这个项目是怎么产生的？

穆罕默德·拉赫纳马（Pixomondo首席创意官兼首席创意官）：

今年早些时候，Pixomondo为HBO剧集《胜利时刻：湖人王朝崛起》（Winning Time: The Rise Of The Lakers Dynasty）完成了700多个视效镜头。在那个项目上，90%的制作都由CG体育馆和人群模拟完成。杀青之后，我们开始讨论应该怎么样形成一种更快、更高效的拍摄3D人群的方法。现在一切都能实时处理，我们就决定挑战自我，在虚幻引擎中创造一个灵活的人群工具，它可以实时运行，并且可以用到我们的LED虚拟影棚上。当拍摄这支广告的机会出现时，我们知道我们一定要试一试新工具，真正把它用到极致。

我们伦敦的虚拟制作团队非常棒地做到了。我们能实时更改角色、细节级别（Level of Detail，缩写LOD）、球衣、表现、密度、甚至能做“人浪”，这很不可思议。

我们目前正在努力让这个工具更有交互性，这样人群就可以在虚拟影棚中跟随真正的表演者；对球赛比分做出反应，甚至可以跟随着球。这还只是个开始。

问：人群是如何创建的？是使用像Massive这样的人群模拟程序吗？还是在虚幻引擎中创建的人群？

加迪斯·库泽涅斯科（虚幻引擎技术美术师）：

人群是在虚幻引擎里做的。Pixomondo开发了一个全新的人群系统，旨在实现适合用于虚拟制作的尽量最高的帧率。它的原理是利用虚幻引擎中高效的静态网格实例化。所有动画都是以顶点着色器制作的——使用骨骼动画纹理。这个工具组由两个部分组成——Houdini工具组用于建模和动画处理以及骨骼动画纹理烘焙；C++编写的虚幻引擎插件用来生成和控制人群实例。

问：在关于项目的一些讨论中，有谈到“随机的“人群运动——但人群要作为一个单元来运动，他们做出的反应和行动要反映“球场”上的各种时刻——就像真实的人群那样？我相信你们的人群可不是完全随机的吧？

加迪斯·库泽涅斯科：

新的人群系统支持触发不同的人群情绪——比如欢呼，或生气，还有很多其他情绪。对于人群中的个人，有数百个不同的动画片段可以使用。可以对人群整体进行触发，也可以只是对部分人。它还支持动画状态之间的顺畅融合。

问：有用到动作捕捉吗？

加迪斯·库泽涅斯科：

所有动画都源自动捕，而人的3D模型都是真人的3D扫描。

问：你怎么让人群看起来既是体育赛事的统一观众，又保有随机性和真人感？比如，有没有拍摄任何真人演员然后将他们以“卡”的形式在UE4里加到人群里？

加迪斯·库泽涅斯科：

PXO的人群系统可以对性别和人种分布进行控制，还能控制衣服色彩变化。没有使用“卡”。

问：你们用的是UE4还是UE5？

加迪斯·库泽涅斯科：

开发其实是在UE4里做的，但转移到了UE5上。所以最后成片用的是UE5。

问：你们拍摄了多少天？我猜是1天？

大卫·怀特森（联合导演）：

其实拍了两天，原因有二。第一，我们有儿童演员，我们想给他们适当的休息，让他们保持拍摄状态，这就占了拍摄日的一大块时间。第二，我们进行的是高速拍摄，并且想给那些镜头它们应有的充分的时间来拍好。

而且，我相当自信的一点是，如果在真实的体育馆里花一晚是不可能拍完的。就算是花两晚，每晚也得拍12个小时。而我们就花了两天，每天都是舒服轻松的10小时，完全不用担心天气问题。我们还在日间在棚里创造出了午夜效果。一切都很惬意。

此外，如果要拍摄跑遍全场的比赛的感觉，我们还得一直在真正的体育馆里移动。采用虚拟制作，我们就可以设置好摄影机，跟踪一次，然后只需几秒就可以将LED墙上的虚幻引擎CG体育馆资产数字化地进行移动。不需要将大型拍摄设备从体育馆一头搬到另一头。

问：能聊一聊保持屏幕黑电平的问题吗？尤其是在使用烟雾的时候怎么办？我的想象中，两侧的灯一定造成了不必要的溢光吧？

埃里克·惠普（DP）：

为保持黑电平，我们在墙的每一侧用到了2盏18K灯，来给演员创造硬光。这些灯需要用旗来处理光线，不让墙上出现溢光，但我们那么做之后，墙上就没有黑电平的问题了。我们还在墙顶安装了3盏Orbiter灯来制造体育馆灯光的感觉。

问：对于高速200fps拍摄，能聊一聊你是如何处理闪烁刷新的问题的吗？

埃里克·惠普：

进行高速拍摄时，不同帧率会产生不同的闪烁间隙。理想情况下，我们可以拍摄最低400fps，但因为LED墙帧率的问题，要拍摄极高帧率（如Phantom高速摄像机）几乎不可能。

我们一开始用RED摄影机做测试，然后用了SONY Venice，后来还用了Alexa Mini。我们选择Alexa Mini是因为它相较于ALEXA LF mini可以达到200fps。我们最后以数学来算出了减少大部分闪烁所需的每秒完美帧数，然后在后期制作做了大量测试来想办法消除剩余的一切闪烁。成片里的素材实际上放慢到了800fps。

大卫·怀特森：

我们还遇到的一个问题是，当我们在LED墙前拍摄CG人群与真人演员时，我们发现人群动画会变得比较僵。人群是以24fps制作动画的，人群运动没有足够的信息来应对200fps的拍摄。为解决这个问题，我们决定创造多个人群模拟，让它们以不同帧率运行。我们的LED墙以24或48fps运行，同时人群模拟以96、120或200fps运行，然后以200fps拍摄。我们进行了很多测试才找到了适合的帧率组合，而我们感觉我们最终得到了非常成功的效果。

问：这个点子太棒了，大卫，我从没这么考虑过。那我们转到摄影棚的地面拍摄问题：将地面上的草皮与虚拟制作屏幕上的草皮相融合——有多少是摄影机内解决的？又有多少镜头需要后期处理？

大卫·怀特森：

靠着融合日那天的测试以及边拍边调整，几乎90%的融合是在摄影机内完成的。随着烟雾变厚或变浅，以及随着我们调整灯具，稍微一点色彩校正区域调整不可避免。我们在棚内铺的自然草皮是我们需要后期辅助清理的部分。随着球员在草皮上跑来跑去，草皮会卡住他们的钉鞋并拢起来。后期团队帮助把那些抚平。但融合效果无懈可击，摄影机上看起来棒极了。

问：这项技术已经进步到我们可以期待虚拟制作中出现更多CG人物了吗？

爱德华·汉拉罕（虚拟制作总监）：

显然，大部分项目使用虚拟制作都是为了环境，但让这些环境栩栩如生需要动画。现在有越来越多强大的计算机，我们可以实时对角色进行布光和动画制作——同时进行其他我们需要的计算……加之你们也看到Epic正在大力推进动画工具组和Metahuman。所以这确实是行业正在前进的一个方向。

问：我理解在你进行这个广告项目的虚拟制作时，借鉴了你最近在《星际迷航》（Star Trek）剧集中所学到的经验教训。能展开说说吗？

杰克·查德威克（Pixomondo虚拟制作经理）：

我们认识到，我们需要降低实时渲染需求以获得更好的性能表现，而我们还做了几件事来保证性能。

这个项目最大的挑战在于，我们要如何在对我们完全CG的人群保持动态控制的同时还要保持实时渲染的低需求，并确保LED墙运行良好。

当我们开始测试伦敦Pixomondo办公室开发的人群系统的时候，我们在场景中有超过4万个人群代理和超过50个独特的角色动画。虽然人群系统在墙上看起来效果很棒，但性能却跟不上。我们随后想办法降低实时渲染需求，并仍然保持人群的动态属性。

我们用来降低我们实时渲染需求的一个技巧是，将体育馆资产拆分成几个部分，这样只有墙上可见的区域需要实时渲染，理论上这样能缓解我们所面临的性能瓶颈。我们要做的下一步就是，调整我们的人群系统，只让体育馆可见的部分出现我们的人群代理。这种解决方案适用于所有中景和特写镜头，但对于一些极度广角的镜头并不是个完善的解决方案。

对于极度广角的镜头，我们需要找到一种方法来保持人群的能量和运动，同时降低我们代理的实时渲染需求。我们还要能够调整人群代理的细节级别设置，直到我们找到最适合的一个度，让我们既能保持足够的逼真度让角色在背景中呈现很好的效果，又不需要那么多计算力来维持LED墙上的性能水平。

尊正监视器始终投身技术前沿，参与了各类虚拟制作项目。从加拿大电影摄影师协会年度颁奖典礼到B站游戏大赏颁奖之夜，从Disney+《曼达洛人》到HBO《龙之家族》（House of the Dragon）到华纳新版《新蝙蝠侠》（The Batman），都以尊正监视器进行虚拟制作监看。

想了解更多虚拟制作内容，点击此处进行扩展学习。

想了解更多尊正产品，尽在尊正官方商城。

出处：Mike Seymour | fxguide

编译：LorianneW | 盖雅翻译小组