如今，视效应用在舞台演出上的频率比以往任何时候都更高。从格拉斯顿伯里音乐节到超大型的演出场馆 Sphere，再到舞台剧《怪奇物语：第一道阴影》（Stranger Things: The First Shadow），新一代视效技术正在为现场演出注入新的活力。这些技术通常会用到 LED 墙、先进的投影仪、实时引擎和/或扩展现实（XR）技术。

“现场演出的规模不断扩大，逐渐演变成为一场视觉盛宴。视频效果在其中发挥着重要作用，”Disguise 现场活动负责人艾米莉·马隆（Emily Malone）说道，“如今，没有用到视频效果和内容的大型演唱会反而少见。人们一直在探索新的视觉叙事方式。从欧洲歌唱大赛（Eurovision）上的 LED 地砖屏和悬在上空的 LED 方块，到舞台剧《怪奇物语：第一道阴影》上的 LED 与投影有机结合，如今，视频已被视为整体演出设计和体验中一个更加整合、不可或缺的组成部分。”

2023年的格拉斯顿伯里音乐节就是一个例子。马隆表示：“在酷玩乐队的演唱会上，金字塔式的舞台上播放的视频来自 Flint Studios，由 Disguise 驱动。同样在格拉斯顿伯里，Block9 著名的 IICON 舞台多年来一直由 Disguise 驱动视频内容。还是在格拉斯顿伯里，歌手卡米拉·卡贝洛（Camilla Cabello）和 London Grammar 乐队等艺人的大型音乐演出也由 Disguise 驱动。”

据马隆介绍，Disguise 也能为舞台剧演出上的视频提供强大的支持。“《怪奇物语：第一道阴影》（这部舞台剧于2023年12月在伦敦凤凰剧院首演）利用视频内容叙事，并将视频作为布景设计的重要组成部分。59 Productions 使用了 Disguise 的10比特工作流，其中包括四台 GX 3 媒体服务器和 OmniCal 基于摄影机的投影仪校正系统。这些工具使他们能够协调十几台投影仪和一块大型LED视频屏幕，同时还能让大量投影仪保持统一。”

“在观看一场音乐剧演出时，很有可能整面背景墙都是 LED。在演出的大部分时间里，你可能难以轻松辨别视频内容、灯光效果、舞台效果和实体场景元素，这正是这种集成的紧密结合和艺术性所在。”马隆继续说道。

“我们有着丰富的硬件产品线，这意味着从小巧灵活的 Disguise EX 2 服务器到性能强大的 VX4+，我们总有一款产品能够满足每个项目的需求。我们的硬件由工程师和系统集成商根据项目的独特需求进行定制。在实时引擎方面，我们长期以来一直在 Designer 软件中使用原生的 Notch 实时渲染技术。近年来，我们还能够通过我们专有的 RenderStream 协议将渲染工作负载分配到一台独立的 RX 机器上。我们还看到了虚幻引擎很多的用例，以及与 Touch Designer 和 Unity 的集成。”马隆指出。

“自2012年歌手图派克·夏库尔（Tupac Shakur）在科切拉音乐节贡献首演以来，数字王国一直处于数字人和沉浸式内容创作的前沿。”数字王国的高级视效制片人查尔斯·博尔韦尔（Charles Bolwell）表示。 在那场活动中，CGI 版的夏库尔与歌手史努比·狗狗（Snoop Dogg）的真人一起出现在舞台上，数字人物与真人在现场演出中同台表演。

“无论是图派克在科切拉音乐节上极具突破性的演出，还是橄榄球运动员文森特·隆巴迪（Vince Lombardi）先进的广告和全息影像，我们都始终致力于将技术推向新的高度，”数字王国的全球总裁兼首席运营官拉拉·加弗加维安（Lala Gavgavian）表示，“我们始终专注于推进自主虚拟人（AVH）技术，打造视觉震撼、交互性强且能引起情感共鸣的数字人。通过利用人工智能、机器学习和实时渲染的力量，我们正在创造模糊现实与想象界限的虚拟人，” 加弗加维安补充道，“展望未来，我们预想我们的技术将不断发展，以支持真正有交互性、且在各个方面都独具特色的现场全息影像表演。”

为了给沉浸式演唱会、剧院和体验创作视效，数字王国采用了各种专有和现成的软件工具来满足客户的需求。 “这些工具包括 Nuke、Maya、Houdini、V-Ray、虚幻引擎以及我们自己的 Charlatan 和 Masquerade 工具等，”数字王国视效总监马特·杜根（Matt Dougan）解释说，“大多数现场表演都是通过虚幻引擎来制作实时内容的，而我们的团队会使用工具箱里任何能带来最佳效果的工具。通常，实时交付的要求要与客户进行严格确定 —— 通常包括任何特定的硬件和冗余措施 —— 以确保流畅无错的播放。”

对于2024年的全国橄榄球选秀活动（NHL Draft），数字王国与 Sphere 团队携手打造了一场前所未有的现场活动。博尔韦尔解释说：“我们协助设计了大部分以球队标志为主题的背景幕，这些背景幕会在每支球队做出选择、签约或介绍名人堂知名球员之前出现在 16K 屏幕上。我们还创作了多个以冰雪为主题的粒子转场，用于在广告时段之间切换。为了此次活动，数字王国还创建了超过155个个性化元素，供 ESPN 和 NHL Network 使用，使之成为大型体育赛事历史上最激动人心、最具沉浸感的选秀盛会。”

DNEG IXP（沉浸式体验）的董事总经理约书亚·曼德尔（Joshua Mandel）表示，DNEG 正致力于打造将视效融入现场演出活动的沉浸式/交互式项目。他表示：“DNEG 目前活跃于多个虚拟演唱会和基于场地的体验空间项目 —— 这些现场演出活动/体验非常倚重视效艺术家来创造一种体验，让参与者能够感受到表演者、环境或其他能够引发情感共鸣的事物的存在。”

“我们之所以称之为现场体验，是因为它们让观众置身于场地和音乐厅，并能够再现引发情感共鸣的人物和场景。运用相同的艺术与技术手段已推动我们在电影视效领域获得成功，”曼德尔补充道，“由于许多此类体验都是定制的、是之前从未有过的项目，因此我们会运用所有手边可用的工具来将这些体验变为现实 —— 从 Maya 和 Nuke 等视效工具到实时引擎，再到人工智能和机器学习应用 —— 所有这些都作为工具，帮助我们的艺术家将合作伙伴的构想变为现实。”

ABBA Voyage 驻场演出于2022年5月27日开幕，在一座专门建造的音乐厅内，虚拟与真人表演完美结合。工业光魔助力 ABBA 这支瑞典乐队在长期沉寂之后以数字方式重返舞台。ABBA 的这场虚拟现场演出包含20首歌曲，并融合了不同元素：预先录制好的虚拟替身与一支由10名成员组成的乐队一起出现在舞台上。这些虚拟替身将乐队的现代风舞步与他们20世纪70年代的样子融为一体。工业光魔为该项目动用了超过1000名视效艺术家。工业光魔的创意总监兼高级视效总监本·莫里斯（Ben Morris）负责了演出的视效制作。

“我想首先要说的是，ABBA Voyage 演唱会选择由工业光魔来完成完全是个意外，”莫里斯说道，“话虽如此，但我们一听到这个项目的提议时就知道，我们一定得参与。这个项目中有很多创意和技术上的未知：我们能否为一场90分钟的演唱会创作出完全逼真的数字人表演？观众对‘现场演出’的感知是否足够强烈，让他们能够像欣赏普通演唱会一样放松身心，尽情享受这场体验？我们能否突破不可避免的屏幕障碍，将现实世界和数字世界融合成一个连贯且极具创新性的舞台？”

“（ABBA Voyage演唱会）证明了完全基于数字替身和舞台设计来创造虚实交融、动态逼真的数字人表演是完全有可能的。这个项目为工业光魔打开了众多创意领域的大门 —— 音乐、戏剧、电影、AR/VR/MR，甚至博物馆和建筑项目等各个领域的咨询纷至沓来。

能够承接这样一个极具创意和创新性的项目，并且看到这个极具突破性的项目获得成功，见识到一个全新的娱乐理念的创意潜力，我感到非常兴奋。” —— 工业光魔创意总监兼高级视效总监本·莫里斯

除了不断完善工业光魔多年来为视效领域所开发出的各种内部表演捕捉工具外，该公司还必须对主舞台上所使用的每一种真实照明设备进行广泛的研究、分析和复刻。莫里斯表示：“这能让我们的导演贝利·沃尔什（Baillie Walsh）设计出无缝衔接虚拟和现实世界的灯光和舞台。我们的照明设计师从未将演唱会视为两个独立的空间；所有编程都是在假设屏幕不存在的情况下完成的。除了重现传统的照明设备外，我们还精心打造了数字版本的所有精彩的动态照明装置和激光效果。”

“毫无疑问，观众们都很喜欢 ABBA Voyage 演出。首演推出近两年半至今，每场演出都座无虚席”，莫里斯说道，“这证明了完全基于数字替身和舞台设计打造虚实结合、动态逼真的数字人表演是可能的。这个项目为工业光魔打开了众多创意领域的大门，音乐、戏剧、电影、AR/VR/MR，甚至博物馆和建筑项目等各个领域的咨询纷至沓来。能够承接这样一个极具创意和创新性的项目，并且看到这个极具突破性的项目获得成功，见识到一个全新的娱乐理念的创意潜力，我感到非常兴奋。”

Sphere 是一个规模庞大的视效场馆，于2023年9月23日在拉斯维加斯大道的郊区开业。这个巨型球幕拥有一个240英尺高（约73米）的环绕式内部显示屏，屏幕面积为16万平方英尺（约1.4万平方米），由6.4万块LED面板组成，分辨率达到16Kx16K。它可容纳超过17600人。在这个场馆刚开业之际，U2乐队开展了超五个月的驻场演出“U2: UV Achtung Baby Live at Sphere”，乐队在现场表演的每首歌曲都配有精心设计的沉浸式视效。

工业光魔视效总监卡时·欧法力（Khatsho Orfali）表示，给 ABBA 乐队的单曲《Atomic City》提供的视效是工业光魔在 Sphere 的第一个现场娱乐项目。“我们在呈现成果的过程中不断学习。当然，我们借鉴了过去大型项目积累的丰富经验，但 Sphere 场馆有着自身的挑战。屏幕的实际尺寸和我们努力追求的1 6K 平方分辨率要求我们考虑多个层次的视觉细节，以达到极致的真实感，让观众相信他们眼前的拉斯维加斯景象就是真实的。”

工业光魔还参与了 Dead & Company 乐队在 Sphere 中的演唱会的视效内容制作。“针对这个项目，我们生成了近20分钟的内容，分为两部分：一部分是演唱会开始时播放的旧金山海特阿什伯里街区景象开场视频，之后影像会把我们带入高层大气，再到银河系；另一部分是演唱会结束时播放的1965年结尾片段，我们回到阿什伯里街710号。”欧法力解释。

沉浸式现场娱乐场所拥有独特的空间、显示设备和播放要求，“通常是非平面的定制显示墙，旨在让观众沉浸在体验之中，”欧法力说道，“这需要给场景和视效做合成，使其能够完美契合众多座位的视角。透视、扭曲和水平线以及主体的取景，都需要仔细研究，妥善执行，以确保获得最佳体验。巨大的屏幕尺寸对如何制作设计动画提出了独特的要求，无论是完整的计算机图形镜头还是实拍原档。”

“如何利用我们在工业光魔打造的那种魔力，以及这种魔力可以如何融入和延伸这些乐队和现场演出为粉丝们带来的体验，都需要创新式思维，这些创新思维让我们深受启发，”工业光魔高级副总裁，创意创新和首席创意官罗伯·布雷多（Rob Bredow）说道，“鉴于 ABBA Voyage、U2 和 Dead & Company 乐队在拉斯维加斯 Sphere 的演出受到热烈反响，我们就接下来的发展进行了一系列激动人心的对话。我们非常乐意与世界各地的创意团队合作，共同推动视觉体验的进步。”

“全新的沉浸式场馆是一个绝佳的机会，让我们能够在电影院的传统放映之外体验视觉叙事。”，布雷多继续说道，“由于这些‘画布’的独特性，它实际上挑战了我们对传统电影制作的认知，包括剪辑、构图、转场以及所有我们熟知的视觉叙事技巧。与此同时，它也受益于工业光魔艺术家们的精湛技艺：高度复杂、细致和相片级真实的视觉图像，在这些全新的沉浸式环境中呈现出令人惊叹的效果。没有什么比与3000或18000名观众一起观看这些体验更令人震撼的了，他们一同经历的体验是我们几年前无法做到的。”

全息技术是现场演出中不断涌现的视效技术的典型代表。“这种技术正在迅速发展，其用例随处可见，包括现场表演和沉浸式抽象艺术，”数字王国的杜根说，“它也很大程度上依赖于其底层技术，即如何创建全息图，以及由此产生的局限性。例如，大多数全息图纯粹是现场的一种叠加效果，因此明亮的区域是可见的，而较暗的区域则变得透明。这似乎显而易见，但你会惊讶地发现，为了提高你的内容的可识别性，你需要对它进行大量的修改，尤其是在360°全息图中，图上的效果可以与其他效果的背面重叠；所有这些因素都需要考虑在内，以确保其可识别性和有效性。”

“说到增强现实，这感觉就像是我们一直以来所做工作的自然的演变，”杜根解释道，“我们工作的核心始终如一，那就是打造惊艳的视觉图像，但现在的挑战在于弄清楚客户想要使用哪种顶尖设备或平台。从这个角度来说，增强现实就像一条变色龙，无论内容是预渲染的还是实时呈现的。它的魔力在于观众如何感受它。我们乐于接受挑战，不断调整工作以适应每一项新技术的特性和功能，确保我们的内容不仅满足预期，而且还能超出预期，无论它增强的是哪种现实。”

在各种艺术节上，增强现实随处可见，它们可以作为演出的一部分、装饰或发挥实用价值。Snap 与 Live Nation Entertainment 签署了一份多年期协议，让观众可以通过 Snapchat 在 Lollapalooza 等 Live Nation 举办的音乐节上体验增强现实。Snapchat 用户可以定位找到观众席中的朋友，查找音乐节场地上的地标，并通过其他方式增强他们的音乐体验。 2022年，科切拉谷音乐与艺术节的 Coachellaverse 应用程序提供了各种沉浸式 AR 效果，包括与 Niantic 合作打造的特定地理体验。

Double Eye Studios 打造了沉浸式剧场VR体验，例如《寻找潘多拉》。目前，大多数作品使用的软件包括Midjourney、Adobe Premiere、Blender 和 Unity。“在这些项目的驱动因素中，总少不了游戏引擎，” Double Eye Studios 的创意总监兼创始人凯拉·本曾（Kiira Benzing）说道，“未来十年，我们将继续见证艺术和现场演出在新领域的拓展，包括 VR 这样的虚拟空间和穹顶这样的实体空间。我们可以预见，视效将在所有这些领域发挥重要作用，创造极具变革性的体验，改变观众的对于现实的感知和真人体验。”

“视效艺术家和技术人员带来的构想将越来越多地应用于更多不同类型的屏幕，为全球观众创造既逼真又奇幻的体验。”DNEG 的曼德尔表示。Disguise 的马隆总结说：“界限总是在不断扩展，下一个项目总是比上一个更具野心。我们所使用的技术在不断发展，这既令人兴奋，也充满挑战。无论是全新的美学、新的集成、更大的画布还是保真度更高的输出，没有什么是永恒不变的！”

出处：Chris McGowan | The VFX Voice

翻译：Katja | 盖雅翻译小组

您可能对以下内容感兴趣：

Big Sky 电影摄影机：解析拉斯维加斯 Sphere 巨型球幕前沿影像背后的专利

《绿野仙踪》（16K）Sphere 项目 —— 前沿技术助力重塑观影体验

Supersphere VR 总监制谈 SCRATCH

沉浸式乐趣：走进 Netflix 全新的虚实融合体验馆

拉斯维加斯LED“网红球”和Big Sky摄影机

现场表演 AI 运用实例：VMA 上的 Metaphysic 和 Eminem

与 59 Studio 联合创始人马克·格里姆谈沉浸式叙事