引言

 《欧罗巴》（Europa，暂译）是美国南加州大学（USC）媒体技术中心（Entertainment Technology Center，ETC@USC）的最新短片项目 —— 该中心是一个智库和研究小组，其使命是在教育性应用的框架内验证新技术和工作流。这部短片记录了三名宇航员前往木星卫星“欧罗巴”执行重要任务的旅程，目的是提取水分并拯救面临严重环境恶化危机的地球。当宇航员们应对开采外星资源带来的伦理和技术挑战时，他们也面临着关于人类在宇宙中的地位以及开发自然资源所带来后果的深刻问题。

先前的ETC项目包括《Fathead》 —— 其探索了基于云的虚拟制作工作流。另一部最近的 ETC 项目是 《Ripple Effect》 —— 它既遇到了虚拟制作的技术挑战，也遇到了疫情期间片场安全协议所带来的限制。

《欧罗巴》团队旨在探索先进的现场虚拟制作 （OSVP）工作流2.0。虚拟制作的第二阶段有赖于过去五年，自《曼达洛人》（The Mandalorian）问世以来变得成熟的设备和工作流。《曼达洛人》是首部重要的 LED 虚拟影棚/摄影机内视效虚拟制作作品。

《欧罗巴》的主要目标包括建立深度元数据/本体工作流，探索新技术和跨职能团队合作，测试全球远程协作，简化虚拟美术部门和环境开发工作流，优化变形镜头畸变和 LED 虚拟影棚内摄影机/镜头元数据的使用，拓展基于图像的照明（IBL）技术，以及利用人工智能开发环境和改进后期制作。

本白皮书结构

本白皮书探讨了《欧罗巴》创作过程中的经验教训。报告按照拍摄的三个主要阶段安排结构：前期制作、拍摄和后期制作。每个探讨部分都包含了工作人员的轶事和心得。

前期准备

尽管表面上看这部作品是南加州大学的学生短片，但最终成片是全球数百名贡献者的劳动成果 —— 他们中的许多人贡献的都是自己的时间。ETC的部分吸引力在于其存在不是为了营利。因此，在商业背景下通常可能是竞争对手的各方参与者，可以在纯粹的探索精神下进行合作。这份白皮书探讨了所有参与者在《欧罗巴》的参与过程，并突出了关键参与者。

该团队包括：

灵感与构想

ETC 的使命是选择能为南加州大学电影学院学生提供包容性机会的项目，同时探索电影制作领域的突破性兴趣领域。埃里克·韦弗开启针对每个项目的筛选过程，寻找那些项目符合 ETC 最新兴趣领域的候选人。

“杰奎琳·罗森塔尔为《欧罗巴》创作的剧本最终最符合要求。”韦弗回忆道，“我们知道我们会在卡尔弗城的新 Pixomondo LED 虚拟影棚内拍摄，而其中一个重要的探查领域就是彻底地测试 LED 面板的黑电平。因此，一部以木星卫星“欧罗巴”的多彩蓝色星球表面与漆黑太空形成对比的电影完全符合所有测试要求。”

“我们完成《Fathead》后订立的目标是推进各种事项。”监制图迪扬普拉卡尔补充道，“之前做《Fathead》面临过的一个挑战是要在疫情期间与许多没有任何虚拟影棚拍摄经验的团队一起完成项目。”

“这一次，我们希望能够以足够轻松的方式使用这种拍法，以便在流程中更早地帮助到电影制作者们。”

“杰奎琳的编剧受到她对这项技术所具备潜力的认识的影响，这项技术将在《欧罗巴》创造出能够充分利用 OSVP 所擅长的布光和氛围的环境。”

罗森塔尔的主要目标是探索 OSVP，创造出一个视觉上令人惊叹的故事，并及时传递一条生态信息。“对于任何想要执导虚拟制作作品的人来说，你必须不畏艰难，勇于尝试，”罗森塔尔说道，“这个项目最重要的经验是，要让自己身边围绕着跳出框架思考的人，因为这是一种非常新兴的流程。”

“这归根结底是对准备工作的热爱，包括与 VAD 合作、进行可视化预览和创作分镜。”她补充道，“你在前期制作中投入的越多，在后续每个阶段就能获得越多回报。最终，这不仅关乎拍摄前所未见的镜头，还能以可信的方式推动这种媒介向前发展。”

组建团队

随着前期制作的开始，韦弗聘请了资深制片人克里斯蒂娜·李·斯托姆（《少年派》《少年派后的日子》《降世神通：最后的气宗》）为《欧罗巴》召集更多团队成员。“我相信教育下一代电影人，因为很多人还没有以 OSVP 工作过。”斯托姆表示，“制片人的目标应该是将所有部门联系起来，这样他们就不会各自为政。《欧罗巴》最令人兴奋的事情是开发和最大程度利用元数据工作流。找到最好的方式将所有现场数据传输到下游的后期制作视效、声音、调色等等，这非常有益，因为这样你就可以充分发挥出自己的优势以获得最佳利益了，可以这么说。”

“我们每天都有主要的每日样片周转工作，因为素材会被送往新西兰和印度等地，以创造一个24小时的制作周期。”斯托姆补充道，“我们还利用了与亚马逊网络服务的合作关系，因此公司之间存在一定程度的云互操作性。将 OptiTrack 遥测、虚幻引擎文件等所有东西集中到一个地方，需要一定的教育水平，并提供大量的基础设施和知识。”

VAD 与环境开发

虚拟美术部门通常是 OSVP 前期制作的关键。对《欧罗巴》来说，VAD 方面工作的贡献者包括索尼 Torchlight、CG Pro、ROTU 和 Qube Cinema。早期的一些工作利用了人工智能工具进行风格开发。“我们使用了 Davant Systems，一个 Stable Diffusion 前端，与杰奎琳和她的分镜和概念艺术家进行了几次会议。”德玛蒂诺说道。

“这些都提供给了我们的 VAD 团队，包括 CG Pro 的一个全部由志愿者组成的团队 —— 他们帮助我们完成了可视化预览和灰盒（简化的 3D 环境模型）阶段。”德玛蒂诺继续说道，“从2023年11月的前期制作到2024年2月的拍摄，我们面临着重大的时间压力。因此，我们在 VAD、艺术指导和美术设计之间多方向分别着力。由此得到的关键经验教训是，任何东西要在 3D 环境中行得通，就得先在 2D 环境中行得通。”

美术设计

美术指导安格兰·李和克里斯汀·王负责处理虚拟世界和实体世界，并确定每个布景要构建的内容。“试图确定实体构建是一项具有挑战性的工作，特别是考虑到所有内容都将用变形镜头拍摄，”李表示，“比方说，这里有一个石头卫星的冰面，那我构建的真实石头必须与这些虚幻引擎里的虚拟石头相匹配，反之亦然。最终，我的工作流是我自己这边先构建，然后我做出来的东西会被扫描供摄影测量和材质那边使用，而这些最后会被放入虚拟世界。”

“测试拍摄日变得至关重要，因为你必须处理布景的真实最终色彩和摄影机内的最终虚拟环境，这些不能留到拍摄日期再决定。”李补充道，“这甚至关乎影棚规模。比方说，在你拍摄要用的同个影棚内进行测试至关重要，不然最后会出现不协调的情况。我们必须确认，VAD 团队始终在设计他们的环境，以确保其符合 Pixomondo 虚拟影棚的精确尺寸。ETC 很棒，因为他们确保了每一个镜头都在分镜阶段就被编排好了。”

融合是 OSVP 最重要的方面之一：无缝地掩盖 LED 墙虚拟环境与演员所站的实物地面之间的缝隙 —— 这需要共同努力。“我已经到了不再相信自己眼睛，而是依靠摄影机监视器的地步，”李表示。“在拍摄天，VAD 调整环境以匹配我的实体布景比反过来要容易得多，因为他们改变材质的速度比我重新涂色要快得多。烧入也是一个关键考虑因素，因为在布景中会有某些时刻是这样：如果不重新烧入灯光，就无法更改任何东西，而且你并不总是有等待的时间。最终，镜头中呈现的是 VAD、艺术总监、美术指导和电影摄影师之间的合作。”

元数据与本体

随着《欧罗巴》于2024年2月开始拍摄，推进元数据和本体工作流在电影制作者的脑海中变得至关重要，因为它们为整个项目提供了潜在的益处。元数据是指关于资产、场景和拍摄元素的上下文信息，例如摄影机设置、文件格式和场景描述。它有助于简化工作流，使电影制作者能够高效地组织、跟踪和管理大量数字内容。

本体是一种结构化框架，用于对不同实体之间的关系进行分类和定义，例如角色、道具、拍摄地点和视效。在虚拟制作中，本体提供了一种一致的方式来对数字资产进行分类和连接，从而实现更好的整合和跨项目的可重使用性。

新西兰奥克兰 Rebel Fleet 的首席技术官皮特·哈罗在提供云服务方面发挥了重要作用 —— 这项服务可以在《欧罗巴》所有团队之间共享元数据和本体。“Konsol 是我们的元数据收集、聚合和组织管理平台，”哈罗解释道，“所有不同团队都可以发布他们在片场采集的元数据。然后，我们用智能算法将正确的元数据发送到正确的对应镜头上。”

“等你拿到场记的笔记、摄影机报告、视效报告等等，所有这些都是基于特定镜头的。”哈罗继续说道，“然后，我们进一步利用帧元数据，比方说，我们知道哪些实时文件正在虚拟影棚内回放及其相应的时间码。我们甚至可以在每帧中添加镜头、光圈和其他摄影机元数据。由于时差，我们可以在每天早上所有人到达时，将所有内容进行 QC 处理、同步、准备并加载到 Avid 中进行剪辑。”

Konsol 的设计是高度可定制的，因为每部电影都有其独特的元素和目标。“很炫酷的是，我们对能在系统中集成什么保持灵活自由，”哈罗说道，“目前为止，我们使用 Konsol 完成了近20个重大项目，每天都在用，而且随着我们发现更多前沿案例，并为不同工作流和集成提供更多支持，情况正在改善。”

电影摄影技术的进步

电影摄影是《欧罗巴》的另一个重要探索领域，而其使用 Cooke 光学变形镜头畸变带来了额外的复杂性。埃里克·“沃尔菲”·沃尔福德便抓住机会深度参与《欧罗巴》。“摄影指导面临的挑战包括了解虚幻引擎以及如何和何时与 VAD 的人交谈符合惯例。”沃尔福德表示。

“ETC 拍摄工作的好处在于，当技术上有什么东西卡住时，你不会直接放弃，而是会深入探索。”沃尔福德补充道，“这意味着我们可以尝试新的方法来跟踪摄影机，探索新的元数据归档技术和基于图像的照明系统。我们还借助了 Venice 2 原生 3200 ISO 的力量 —— 这几乎是种能够在黑暗中视物的效果。我们可以利用 LED 墙和布光来获得我们想要的精确风格。”

当被问及他在教育类与营利性制作项目方面的不同工作方式时，沃尔福德补充了一些额外的观点。

“在与学生合作时，我喜欢直接说出我的工作过程，于是我会大声说我们要在哪里放什么灯，以及如何放，”他表示，“但我们主要的学习领域是 Cooke 变形镜头。具体来说，虚幻引擎如何处理风格和畸变，以及这会如何影响演员的景深？变形镜头的最小聚焦范围是3英尺（约合0.9米），因此你无法在他们的头戴式设备中获得我们想要的那种令人窒息的角色特写。因此，对于这些镜头，我们会切换成 68mm Cooke S7/i 系列球面镜头。”

由于 Cooke 镜头和 Venice 摄影机捕捉了大量元数据，沃尔福德为保存这些数据做出了协调一致的努力。“电影拍摄传统上已很擅长采集元数据，但在组织和将其传递给需要它的下游团队方面却表现不佳。”他表示。

“视效团队从元数据中受益最大。如果能知道哪个光学镜头用在了哪个镜头上，对于添加匹配的视效会有巨大帮助。剪辑师和调色师也从元数据中受益，所以我们必须确保元数据被保存下来，供所有人使用。戴恩·布雷姆和他在 Cintegral 的团队在收集和利用元数据方面发挥了重要作用。”

当被问及虚拟制作与传统视效（VFX）的工作方式有何不同时，沃尔福德分享了他作为一名在这两种模式下都有丰富经验的电影摄影师的观点。“我记得此前每个人都说，绿幕永远不会像实拍那样看起来效果好，而这种态度经常也适用于 LED 墙。”沃尔福德说道。

“我很想实拍所有内容，但由于我们短期内没法真的飞往欧罗巴星球，于是我想使用所有可用的现代工具。为了利用这些工作流，你必须不断自我教育 —— 参加 CG Pro 课程，学习 OSVP 和虚幻引擎。选择你热衷的领域，成为那个领域的专家。”

基于图像的照明

OSVP 最复杂和最有趣的方面之一是虚拟环境与电影式布光的结合 —— 如果处理得当，这会显著提高镜头的真实感。基于图像的照明（IBL）是实现这一目标的强大工具。它将图像和视频素材转换为实光布光中相应的色相和强度。长期担任 IBL 专家的蒂姆·康，也是 ASC MITS Lighting Committee（ASC MITS布光委员会，暂译）的成员，将他在这个领域的专业知识带给了《欧罗巴》, 其中包括利用爱图仕的 Sidus Link Pro 光控 app。

“汤姆和埃里克领我加入项目，是因为他们觉得《欧罗巴》的故事适配 IBL，”康回忆道，“ETC 的工作 —— 特别是与保罗·德贝维奇（Paul Debevec）合作 —— 从对基于图像的照明的研究开始，并创造了第一批最初是为CGI效果而设计的基于图像照明的例子。此外，沃尔福德喜欢与我所在的爱图仕合作。我的两项主要任务是培训剧组成员 —— 包括灯光师史蒂夫·曼格顿（Steve Mangurten） —— 让他们了解工作流并提供技术支持，以确保一切都行得通。”

“《欧罗巴》最初的概念是能够直接采样环境，并实时将这些值输入到实体灯具中。”康补充道，“但我们不可能为此专门设置系统的一整个渲染节点，所以折衷方案是为每个环境渲染视频实拍原档，并使用这些视频实拍原档映射光线。因此，我们映射的是相同的环境，只是不会实时影响布光。”

康还与团队合作，通过灯光打造实效。“沃尔福德想要洞穴场景中的波纹水面和腐蚀性效果，而我们能够实现这些，”康说道，“其中一个重要的收获是我们找到了方法将视频信号中固有的 RGB 色彩空间转换为灯光师习惯用来控制电影灯的 HSV 色彩空间。我找到了一种直接将 DMX 控制台指令传输至爱图仕灯具的方法，而其色彩模型是从 RGB 到 HSV。其中的人为因素很重要 —— 我们不该强迫人们使用不符合直觉的东西来达到预期效果。”

对康来说，IBL 的最终目标是使布光更加精确，减少抽象感。“视频墙在充当布光光源上作用十分有限，尤其是考虑到它们无法覆盖整个光谱，”康表示，“布光专业人士正在寻找布光设置中的细微差别，而你需要一系列工具来实现这一点。你可以部署许多灯，而 IBL 有助于提高从构想到执行的透明度。”

拍摄完成

《欧罗巴》的拍摄从2024年2月5日持续到24日。在这段时间里，团队大约有9天的拍摄时间，其余时间则用于搭建布景、视效协调、特技规划、协调和其他相关活动。

尽管许多镜头完全是在摄影机内拍摄的 —— 就像 OSVP 通常的情况一样 —— 但后期制作依然规划了额外增强。除了延长实拍镜头外，全 CG 视效镜头也是计划的一部分。拍摄完成后，后期制作持续了几个月，然后首个剪辑版本于四月初在拉斯维加斯 NAB 2024上发布。

远程协作

由于有如此多的后期制作团队分布在全球各地，因此基于云的工作流至关重要。埃里克·罗斯支持了使用不同解决方案和供应商的多个团队。罗斯的目标之一是找到方法，在每个镜头/序列的基础上快速扩展 VFX 艺术家的规模。VFX 预算经常超限，因为处理一个镜头所需的基础设施和人员在快速收集所有必要资源方面不够敏捷或高效。

“我们在 Bind Studio 与杰森·福特合作，”罗斯解释道，“杰森想要解决小型视效工作室在分配到短期项目时面临的挑战——它们需要迅速扩大基础设施规模，并招募尚未入职的艺术家。”

“关键在于找到合适的软件、计算、云等。”罗斯继续说道，“杰森已经构建了一个迅捷的系统 —— 你可以启动它，然后说：‘我雇用了这三位艺术家。这是他们的证书。’你可以通过 Teradici 或类似的方式登录，然后开始以 ShotGrid 或任何你想要的方式工作。这极大地简化了我作为视效总监的工作，并使费用和时间框架更加可预测。”

根据福特的说法，疫情加速了远程协作的应用，并缓和了制片厂不愿接受它的态度，但内容安全仍然至关重要。“云就是互联网，而我们需要访问各种工具，但我们需要以最安全的方式进行，”福特说道，“在传统的视效环境中，这通常意味着出口控制。作为用户，我可能会无意或故意地将内容媒体文件放在它们不该出现的地方。”

“我们通过网络协议、防火墙、URL 过滤等来实现这一点。”福特补充道，“每个项目都有根据剧集安全足迹批准的不同工具。一个项目可能允许使用Dropbox, 但另一个项目可能需要通过 File Runner 或 Media Shuttle 完成所有操作。一旦确定了各项参数，我们就启动环境，然后为用户提供MFA和单点登录。所有一切都是自包含的，并通过 Bind 网络保持孤立。”

基于云的后期制作

《欧罗巴》团队致力于优化每日样片和剪辑工作流。疫情期间，远程工作流的必要性催生了协作的转型。而在此之前，典型的制片厂后期制作是通过共享设施的局域网完成的，以避免潜在的宝贵知识产权内容被盗。如今，制片厂已更多地倾向于采用基于云的工作流，并改进了共享和安全协议。

一种云优先的工作方法

戴恩·布雷姆是 Cintegral Tech 的制作技术专家，也是 Verizon Labs 的创新工程师 —— 他帮助促成了 《欧罗巴》的云优先工作流。布雷姆表示：“我们正在尝试采用传统的拍摄和后期制作方法，并将它们更多地融合到一套简洁的云优先 MovieLabs 类方法中。与所有不同的团队合作，确保互操作性和清晰的交接，这就是这套方法的附加价值。”

由于大部分拍摄团队分布在全球各地，流畅的工作体验至关重要。“这关乎我们如何在印度拥有合作伙伴，而在西海岸工作时却在晚上睡觉；以及如何与新西兰的合作伙伴合作 —— 他们比我们晚几个小时 —— 以完成所有样片工作，”布雷姆说道，“这使我们能够在很短的时间内完成样片工作，使我们的剪辑师能够随时开始工作。最重要的是让人们拿到数据，而不是为了移动所有数据而传递硬盘、设置系统和本地存储。”

对布雷姆来说，他主要关注的是工作的实操性。“我们所做的一切都必须适用于现实世界环境，”他表示，“我们希望能够前往福克斯影业或制作公司，为他们提供特定工作流的精确成本估算。这不仅适用于实拍项目，还适用于所有以最佳水平支持它的必要云成本和基础设施。”

云剪辑

瓦妮莎·高是《欧罗巴》项目中的两位主剪辑师之一 —— 她在这个项目中出色地运用了云工作流。同时，这个项目也是她初次体验虚拟制作。“我们以 Avid 工作，但我们会远程登录工作站，”高解释道，“这非常方便，因为我们可以在我、托马斯、剪辑助理们和杰奎琳之间从任何地方登录Avid。我们可以同时查看同一个项目 —— 这让我们的工作变得轻松多了。”

高也很欣赏 Rebel Fleet 团队提供的整合好的场记笔记和其他元数据。“由于我加入项目比较晚，因此拥有这些场记笔记非常有帮助，”高说道，“作为一部短片，《欧罗巴》拍摄了大量素材，而许多镜头都是多个场景的组合。如果没有这些笔记，我就会迷失方向。”

尽管许多主要特效场景都是在 Pixomondo 影棚内实时拍摄的，但有些场景需要在后期添加额外的视效。“我学会了非常灵活地运用想象力，与创意团队和视效团队合作，以理解那些未完成镜头的时机和角度，”高表示，“虚拟制作镜头非常棒，因为它们比绿幕镜头包含了更多现成可见的内容。”

当被问及或许有助于实现未来去中心化拍摄的具体想法时，高提供了她的经验。“如果所有的部门负责人在后期开始前聚在一起，制定一个可行的时间表，这是非常有益的，”她说道，“只要从每个人那里了解，可行的工作有哪些，以及相应的程序是什么，这些都应该针对时间表考虑清楚。选择在 LED 墙看起来最好的效果还是更传统的视效 —— 这是电影制作者的一项重要技能。我们不希望观众专注于某个东西是如何拍摄或在哪里拍摄的。我们希望他们沉浸在体验中。”

埃里克·罗斯谈人工智能

虽然《欧罗巴》最初专注于先进的虚拟制作技术，但人工智能工具在拍摄过程中发展迅速，以至于团队使用从 Runway ML 到 Cuebric 等各种工具对后期制作的一些部分进行了生成式 AI 测试。埃里克·罗斯率先研究了 AI，以增强后期制作中的一些镜头并生成全新的镜头。

“我的流程是许多事情的拼贴，”罗斯解释道，“比方说，我在虚幻引擎中处理一些资产，我可能会有个颗粒效果或我正在处理的背景。当我无法在预算或时间内完成某些工作时，我会测试生成式工具。” 与 Runway 和 Topaz 等 AI 公司的合作为罗斯提供了实际支持。他指出：“我们在 AI 后期领域的两个主要合作伙伴是 Runway 和 Topaz。当我们无法解决某些问题时，他们会看着镜头，向我展示他们会如何做。这真是令人难以置信，因为这些团队显然比我更了解他们的工具。”

通过对各种镜头的实验，罗斯发现风格转换是生成式 AI 工具最强大的应用情景。“我们当时正在处理一个镜头，洞穴中的水形成了一只手，然后它触碰了人类的手，”他回忆道，“我不想把它制作成动画或用蒙版，于是我尝试了 Runway。他们的团队建议我把手蘸上颜料拍下来。然后我把它液化，看起来就像我想看到的样子了。模仿你想看到的东西，并以此为起点运用 AI，最终这会让你实现你的目标。”

“我展望了一个几乎实时的世界 —— 你在影棚里，运用绿幕，而我用AI工具给你我想给你的化身或戏服，”罗斯补充道，“这和我们之前在后期制作中做的一样 —— 在拍摄过程中对镜头的风格进行修改，因为我们改变了主意或想要增强某些东西。”

 （未完待续）

出处：Noah Kadner

编译：Charlie | 盖雅翻译小组

您可能对以下内容感兴趣：

2023艾美奖作品幕后的摄影机：Sony VENICE领头，Kinefinity入榜