如今，任何一位虚拟制作从业者都会被默认为是问题解决者。这些现场“魔术师”们善于突破界限，精通各种技术技巧，他们也可能会从镜头背后看到大多数人以前从未考虑过的可能性。
然而，对于许多人来说，虚拟制作以及虚拟现实/混合现实依然是挺疯狂的一件事，只有那些预算充足、精通技术的专业人士才敢尝试。但那些正在规划副业和事业的、富有远见的开发者却不这么看。他们正在将数字荒漠转变为繁荣的商业区，在这大多创意工作以及出色的效果现在都可以在前期制作完成，而非后期制作。
他们是如何做到这件事的？我们采访了虚拟技术的两位早期采用者——戴维·斯顿普（David Stump，ASC）和Pansensory Interactive的奥利·兰金（Ollie Rankin）——了解他们如何利用自己的广泛技能和在《X战警》（X-Men）和《指环王》（The Lord of the Rings）系列等电影中的视效从业经验，从而从大胆的新方向来从各个层面上推动视觉叙事。
戴维·斯顿普（ASC）：虚拟制作混合大师
对于摄影指导（DP）戴维·斯顿普来说，虚拟制作并不是一个新概念。作为一名技术专家、视效总监和DP，斯顿普在LED屏出现在片场前就已经开始实验实时视效和摄影机跟踪技术。2000年代早期，他用零重力虚拟摇臂与视效先驱道格拉斯·特朗布尔（Douglas Trumbull，《2001太空漫游》《太空花园》《第三类接触》）一起进行拍摄。在2003年，他与《油脂》（Grease）导演兰德尔·克莱泽（Randal Kleiser）一起做了一部全虚拟电影。“我们生成Maya背景，并通过Cooper系统使用来自编码器的摄影机数据驱动背景，”他回忆道，“在我的职业生涯中，我曾断断续续地使用过虚拟助理（译者注：虚拟助理是一种能替个人执行任务或服务的软件代理）。”
斯顿普在自己的虚拟制作职业生涯中扮演过很多角色，有时是在单个项目中。虽然他的许多作品都是大片（《阴间大法师》《火星人玩转地球》《X战警》《X战警2》），但他拒绝分类。”好莱坞真的非常喜欢给事物分类，“他坦言，”我觉得我有点像一个谜，因为在职业生涯中期我发现，如果我不告诉别人我做过什么职位，我就能自由地做任何我想做的事情。“
在有些项目中，他基本上除了执导之外什么工作都做。“三年前我拍了一部电影，我帮导演编写剧本。然后，我拍摄了这部电影。在我拍摄时，我还拍完了所有的视效镜头。”他还监督了合成和给影片套底，随后进入调色室中完成片子。“我甚至连声音都做了，然后把这些结合起来，交付了数字电影包。”
所有这些工作使他成为了任何一个虚拟布景/影棚的不可或缺的人才，但对他来说，这个行业的大部分依然是未知领域。“虚拟制作只是一种强大的技术，”他说，“但人们花了很长时间才意识到这一点。这里我喜欢用对讲机的隐喻。现在在片场，即使是最低级的制片助理也配备了耳机，但在这种便利的军事技术拓展到电影行业前，要在不费太多功夫的情况下给工作人员发出提示几乎是件不可能的事。你想想：在《阿拉伯的劳伦斯》（Lawrence of Arabia）中，导演大卫·里恩（David Lean）的团队必须借助山顶的信号灯才能提示和拍摄那些战斗场景！”
近期，斯顿普的大部分作品都涉及对现实进行巧妙操作，从而打造出一个在拍摄地不可能做到的片场环境。在根据尼尔·盖曼（Neil Gaiman）创作的小说改编的剧集《美国众神》（American Gods）中，斯顿普监制了其中一个段落，他结合虚拟助手、绿幕以及场景光来暂停冉冉升起的太阳，这样演职人员就能在整个段落中都沐浴在黎明的阳光下。“指导这一集的亚当·肯恩（Adam Kane）想要在太阳刚从地平线上探出来的条件下拍摄整个四分钟长的段落，”他说，“要实地拍摄这一段落，让太阳正好保持在地平线上，这在实际生活中是永远不会发生的。”
斯顿普使用结合实时摄影机跟踪、抠像和合成的Lightcraft Technology Previzion虚拟影棚系统来制作肯恩在《星际迷航：发现号》（Star Trek: Discovery）想实现的事情。这套由艾利奥·马克（Eliot Mack）和菲尔·马斯（Phil Mass）开发的虚拟制作原型系统，助力将更精细的视效带到《童话镇》（Once Upon a Time）和《泛美航空》（Pan Am）等电视剧集中。
对于即将上映的科幻史诗片《Gods of Mars》，斯顿普的工作方式与现在大多数虚拟制作的电影制作方式相同：用虚拟影棚内的LED墙来制作。然而，在全程采用由Epic Games的虚幻引擎所驱动的虚拟制作中，其目标是在充足预算下，渲染好影片之前需要的、花费不菲的视效镜头。“《Gods of Mars》基本上是一个基础的游戏引擎到LED屏的项目，因为我们几乎完全在虚幻引擎中生成背景。”斯顿普说。他正用一系列Blackmagic Ursa Mini摄影机拍摄12K实拍原档。
不过，最令他感到兴奋的工作流是之前从未做过的：在一个大型水箱中，用变形宽银幕镜头拍摄LED屏。
即将上映的二战动作片无疑是最需要大范围的宽银幕处理的电影。由艾多阿尔多·德·安杰利斯（Edoardo De Angelis）执导的意大利/法国合拍片《指挥官》（Comandante）讲述了一个真实却又不可思议的故事：一位意大利潜艇艇长冒着自己和船员的生命危险去营救一艘比利时商船上的26名幸存者。在将这些人送到自己潜艇的甲板上后，这位指挥官成为了意大利的民族英雄。
即使这部电影仍处于前期制作阶段，但在去年的实时会议（Real-Time Conference）上讨论项目的工作流时就引起了热议。“在技术界，这种工作流被简单地称为‘指挥官工作流’。”斯顿普说。他和视效设计师凯文·托德·豪格（Kevin Tod Haug）负责整部电影的视效。“这是一个非常复杂的项目。我们在意大利有一个相当庞大的摄制团队（该片将在多伦多或罗马拍摄），此外还有分散在世界各地的几个视效团队。”
在意识到北大西洋的冰冷海水给取景地实拍带来太多挑战后，电影制作者考虑了虚拟影棚的选择。“我们必须想出如何在夜间的开放水域中建造潜艇的甲板，”斯顿普说，“这就是我们选择LED墙的原因。随后我们得想想如何跟踪所有拍摄对象，尤其是在使用变形镜头时。一旦我们弄清了这一点，我们就解决了从变形镜头（如Cooke镜头和Zeiss镜头）实时读取镜头元数据的所有问题。”
斯顿普解释说，变形镜头里有两个基点，一个是水平基点，另一个是垂直基点，这两个点是真正使事情变得复杂的原因。“不同于一个标准镜头中的单个基点，这两个光线追踪是相交的，这就使问题变得更复杂，”他说，“如果是标准镜头，你只需要将摄影机对准在这个点上，这样当你在平摇/俯仰镜头时，从一个镜头到下一个镜头所有事物都会保持在需要的位置，不会造成视差。”
在英格兰莱斯特的Cooke工程师的帮助下，斯顿普和豪格可以在片场助力开创相片级真实视效的新时代。“目前还没有人想出在CGI合成中要如何使用镜头畸变和暗角，因此这些镜头产生的元数据有点类似视效的‘圣杯’。”他说。
借助Nuke的拓展版本、Blackmagic 12K摄影机和可抵抗水溅的低分辨率LED墙，他们接近实时的工作流既强大又灵活。“我们将要拍摄的内容（投在）LED屏上并拍摄代理文件，”他说，“随后，在片场附近，我们近乎实时地移交这些代理文件，以及来自游戏引擎和摄影机跟踪系统的数据，将它们通过Nuke。”The Foundry正在编写一款人工智能应用程序，能分辨LED墙上的内容和前景中的内容。“一旦你能做到这个，你就能把墙上的内容与正在发生的情节比如炸弹爆炸区分开来——而墙上的内容给场景和演员布了光，赋予他们美妙的背光和交互性的光线。你可以在Nuke中用它们的AI算法近乎实时地替换这部分内容，并将其与游戏引擎的输出或你使用的相片级真实实拍原档直接合成。”
元数据能做到的还不止这些。在电影的关键战斗场景中，甚至连布光都可以完美同步。“如果忽然有机枪开火和曳光弹发射，并且发生了爆炸，我们可以把它分离出来，且不仅能将它投在屏幕上，我们还可以将它DMX至实际能增强影棚效果的灯光。毕竟，DMX只需Wi-Fi传来元数据就能做。”
为了等到这种工作流在片场能受到重视的那一天，斯顿普已经等了很长时间。“20年来我一直在努力地推动这件事，大多数摄制组的人只会简单地耸耸肩然后说：‘我们要数据来干什么？’但由于虚拟制作和由游戏引擎驱动的现场视效呈爆发式增长，元数据从无名小卒变成了大救星，成为了每个人关注的最重要的事。没有摄影机元数据，你就无法同步LED墙和你在虚拟世界中的移动。你必须从摄影机和跟踪系统中输出数据来驱动引擎。”
尽管《指挥官》的虚拟工作流中遇到众多极端困难的挑战，但这也激励着他。“我真的很期待在这个项目中工作，”斯顿普说，“要让所有事情都顺利运作将是一个非常复杂的工作：要从变形镜头中获取数据，跟踪摄影机和摄影机系统，并在漂浮在水箱中的潜艇甲板上来完成所有这些操作。并且，我们还需要在以LED墙为背景拍摄和以蓝幕/绿幕为背景拍摄之间找到平衡。”
他总结说，这确实是两全其美的事。“这个工作流证明了LED墙并不一定要是成片。即使LED墙已经显示所有你想要的内容，你还是可以倒回去，近乎实时地进行调整。在这种工作流下，如果你和导演并排坐着，他正在观看这一切，而且他说：‘这里或者那里并不是我真正想要的效果。’那你就可以将它交给坐在决策吧台旁边的Nuke合成师，他就可以开始制作近乎实时的人工智能二次合成图像。”
来自Pansensory的奥利·兰金：虚拟现实是否能改变世界？
奥利·兰金很早很早之前就已经进入了相当高级的虚拟电影制作领域，当时这对很多人来说就像一个梦：加入彼得·杰克逊（Peter Jackson）维塔数码的开创性创意工作室。
兰金是一位虚拟现实导演，同时也是一位政治诗人、小说家、音乐喜剧演员和具有献身精神的人文主义者。自加入维塔后，他参与了大量作品的杰出视效工作，而这些作品包括《指环王》三部曲、《黑客帝国》续集、一部《哈利·波特》电影以及《爱丽丝梦游仙境2：镜中奇遇记》。但虚拟现实和混合现实项目才是他的心之所向。现在，他已是温哥华虚拟现实/混合现实工作室Pansensory的CEO兼创意导演，正在创作反映他“漫长而曲折的”故事的各个方面的内容。
在兰金的祖国——新西兰，在互联网出现之前他就先自学了如何在Atari上编程。20世纪80年代中期，他在大学期间发现了人工智能（AI），当时这还是一个新兴的研究领域。“当时世人还未听说过AI，”他说，“但我真的对它非常非常着迷。我当时就知道，它有帮助找出计算机为我们服务的更好方法，并且还可以让我们通过计算机模拟来研究我们人类自己的才智。”
当杰克逊透露他正在制作《指环王》（The Lord of the Rings）三部曲时，兰金有了一次顿悟。“我想：‘太好了，我总算知道我长大后想做什么了！’”当他在维塔接受面试时，他甚至没有提起他在AI方面的经验。“为什么要提？那时，AI和制作电影并没有任何关系。”
当时他还不知道，在彼得·杰克逊的团队中，有人已经在敦促这位导演建立起他自己的AI系统，加快人群和战斗场景的处理。“《指环王》获得批准后，我们就需要建立这一用于给半兽人、精灵赋予‘伪AI’，并在大型模拟战斗场景中令双方针锋相对的新系统了。”他说。
维塔将兰金加入这一制作过程中。“和主体摄影同一天开始，我花了三年时间来共同开发制作给这些半兽人和精灵建造大脑的工作流，而这也编排了《指环王》三部曲的大型战斗场景。”
当时也出现了一些虚拟制作，但任何一个曾和像杰克逊这样有远见的人共事过的人都不会对此感到惊讶。“在CG成为万能解决方案、碾压其他所有技术之前，虚拟制作就已经存在了，”兰金说，“当时，人们还没意识到他们可以在CG中制作所有的背景，因此他们仍在建造这些巨型微缩模型布景，而杰克逊只需几台口红相机就能快速穿过场景拍摄。他们正是通过这些微小的微缩模型来实现复杂的运镜。”
随着动作捕捉技术的流行，团队利用这一技术来进一步编排电影中的虚构角色的动作。“我们对这些半兽人、精灵和其他生物的不同运动风格进行了大量的动作捕捉，”他说，“当我们意识到，你可以将动作捕捉跟踪器固定在一台充当摄影机的设备上并快速穿过这些CG环境时，我们本质上是在进行虚拟制作式的运镜。”
自从在威廉·吉布森（William Gibson）的一部小说中第一次见到SimStim（或译“虚拟刺激”，吉布森小说中超先进神经电子触发超媒体设备的名字），并且在大银幕上看到《电子世界争霸战》（TRON）这部电影后，兰金就期待着执导虚拟现实。“甚至当我还在努力在视效职业生涯上进步时，我就以视效总监的身份与导演、剪辑师携手工作了，这锻炼了我作为导演的能力。”他说。在电影项目的间隙，他也在打造自己的项目，其中包括美术摄影、开发一款iPhone APP，写作一部小说以及开启自己的音乐喜剧职业生涯。“但在Oculus Kickstarter项目出现之后，我意识到，我一生都在追求的虚拟现实技术终于要成为叙事的可行媒介了，但它还没有完全准备好。”
随着手持控制器的出现，他的APP现在已经变得过时了——这款APP能让你用智能手机来控制佩戴头戴式设备所看到的内容。“从中我学到了很多，也为我的下一份工作做好了准备，那就是体积表现捕捉（volumetric performance capture）——一种正处于开发中、大致指将人拍摄成为三维全息图的技术。”这些展示这项技术的概念验证短片也正式开启了兰金职业生涯的新阶段。
他的交互性虚拟现实电影《极速下载的命运》的创意在Siggraph会议上作为预告片进行展示，并再次大受好评，这部电影于2023年在威尼斯电影节首映并在其它电影节巡回放映。尽管这部混合真人与虚拟现实的电影使用了虚拟制作与Unity游戏引擎的元素，但它的灵感直接来自《电子世界争霸战》中的虚拟世界以及兰金小时候痴迷的吉布森创作的小说。
“电影的故事基础与《电子世界争霸战》中的非常类似，两者都有种由疯狂的黑客群体所开发的技术，它能让你将人类意识数字化，并将其下载到计算机上，”他说，“这种体验从让你建造和测试这种机器开始。但当它将你的意识数字化并将其下载到计算机时，在此过程中它会让你身体消失掉。然后你就会被困在计算机内部，只能从屏幕内向外看。”
随后，玩家必须与故事的主角进行沟通，找出回到自己的身体和现实世界的方法。兰金表示，这能创造出数十种可能的故事线和视角。“在虚拟现实中，一旦你建立了可以将人类意识数字化的机制，那么就没有什么可以阻止你将自己发送到他人的手机上，并与一整个不同类型的故事进行互动。”他说。
大约在同一时间，他利用虚拟现实制作了他的第一个现场音乐活动，将一位伦敦DJ的数字分身——在现场观众面前动作捕捉而成——发送到狂欢的元宇宙中。他对这种虚拟现实内容抱有很高期望，他认为这可以帮助减少全球碳足迹。“要说服投资人，告诉他们在这花钱投资是值得的，这是一件很困难的事情，”他说，“直到新冠疫情爆发改变了一切。突然之间，人们变成：‘噢我现在理解了为什么人们突然会想以虚拟方式参加狂欢了。’”很快，针对格拉斯顿伯里音乐节的虚拟现实区Lost Horizon，以及一个澳大利亚音乐节，他在社交虚拟现实平台Sansar上打造了一个新项目。
同年，兰金受Epic Games邀请成为虚幻引擎的“虚幻之友”。“我通过虚拟现实及游戏开发已经对游戏引擎有了一定的了解，”他说，“但我对虚幻引擎一点也不熟悉。”他的短片《Orthogonal》是他紧张学习了六周如何使用虚幻引擎的成果。“虚幻引擎立即可用的视觉质量远远超出了大多数的竞争平台。”
从一个项目到另一个项目，Pansensory的团队规模有增加也有减少。在《Lost Horizon》中，有十个人与他共事，而在《VR Jam》中，他和二十个人共事。“在《VR Jam》和《Lost Horizon》中，我们首先是现场娱乐，其次才是社交媒体。但游戏化也是我们开始提供服务的重要部分。”他补充说，指的是可以解锁免费馈赠和隐藏路径的隐藏彩蛋。
虚拟电影制作的兴起给他带来的最大启发是什么？ 他回答说：“传统电影制作人终于开始认识到虚拟制作的好处，而且许多创意技术人员正在制作模仿过去电影制作方式的界面，这真是太棒了。这让每个人都能轻松过渡，并简化他们的学习过程。”
他即将推出的两个充满热情的项目也可能有助于改变人们的想法，并影响他一直相信的虚拟现实可能引起的转变。其中一个项目讲述了关于年轻人的沉浸感故事，这些年轻人的生活已经受到气候危机的影响。“这个项目结合了体积表现捕捉和摄影测量，将你传送到这些年轻人的家、城镇或地区，听他们讲述他们的故事，”他说，“我们还将在人们的智能手机和网络浏览器上上线这一项目，因为它的内容非常重要，我们需要让它能够惠及每个人，即使是没有虚拟现实头戴式设备的人。”
另一个项目是出于他对口语化政治诗歌这一副业的热情。这一名为《Rhymes With the Times》的沉浸式嘻哈时代项目将5到10个人带入超现实世界，而这些世界经过艺术上的指导，与每首诗的主题相匹配。在虚拟现实空间中，他们将合作解决难题或完成任务。
“对我来说，虚拟现实叙事的力量在于视角。这是设身处地为别人着想、让他们通过别人的眼睛看世界的最佳方式。这就是打破他们偏见和成见的方式。这绝对是一种民主化的技术，而且绝对是一股向善的力量。但如果同样的技术被用来宣传毫无意义的消费品或操纵人们的政治观点，它就失去了这种价值。”
只要创作者继续突破界限并分享他们的发现，他就对虚拟制作保持乐观态度。“令人惊讶的是，在这个领域中，每个人都如此开放地分享他们所学到的东西并互相学习。这必然会加速我们对虚拟制作相关知识的吸收，推动这种技术和技艺的进步。”
出处：Beth Marchant | postPerspective
翻译：Katja | 盖雅翻译小组
