在2024年MTV音乐视频大奖（VMA）颁奖典礼上，Eminem与他1999年的另一个“人格”——Slim Shady的数字版本同台表演。这场在UBC Arena举行的现场表演由Metaphysic的AI技术提供助力，将这位艺术家的过去版本实时带到了舞台上。 Metaphysic的作品并不限于现场表演——他们还因为创作了Eminem《Houdini》的MV而斩获最佳视效奖。

实时AI表演背后的工作流

Metaphysic视效总监乔·普莱特（Jo Plaete）表示，让Slim Shady现身的过程十分复杂，需要周密的计划。“基本的工作流涉及几个关键阶段，每个阶段都是为解决这个特定表演节目的独特挑战而量身定做的，”普莱特解释道，“起初，我们从数据收集和准备开始，收集将被描绘成AI化身的角色的高质量参考图片和视频。这些参考资料包括各种面部表情、角度和布光条件，以有效地训练我们的AI模型。”

等这一步骤完成，团队继续使用深度学习训练AI模型。“我们处理收集的媒体文件并给它们加注释，然后使用这些算法训练AI模型，以复制人的面部五官和表情。”普莱特指出。工作流的此部分保证了在现场表演中AI化身的真实感。

准备表演

普莱特详细介绍了Metaphysic团队如何调整他们的技术以适应VMA表演的特殊挑战。“我们面临的挑战是，舞台上有多名混合的Eminem扮演者，可能有30至50人。”为了解决这个问题，团队准备了自己的系统来处理复杂的实时装置，确保摄影机开机后一切都能顺利运行。

到达会场后，团队进行了装卸设备和硬件设置，测试信号源以确保一切正常运行。“排练是我们工作流的关键部分，”普莱特说道，“他们允许我们调整技术，拍摄彩排素材，并将数据反馈给我们的模型训练。”

多摄影机广播中的实时AI

Metaphysic技术的一个关键方面是，它能够在不产生延迟的情况下，即时生成AI化身，并将其集成到一个多摄影机的广播系统中。根据普莱特的说法，“虚拟化身是通过一条优化的处理管线生成的——该管线利用了可用的最快GPU和专用硬件。”这样可以确保AI渲染速度足够快，以满足现场表演的要求。

事实证明，与会场和广播团队的合作至关重要。“我们与广播团队密切合作，确保信号管线——从摄影机到处理再回到广播车上——不会产生任何不必要的延迟。”

无标记面部跟踪

Metaphysic技术的一大独特方面是，针对替身表演者，它不需要特殊的标记或跟踪辅助。“我们的系统使用先进的计算机视觉算法来自动检测视频传输信号中的人脸，”普莱特说道，“演员可以完全专注于自己的表演，而这项技术可以实现实时跟踪。”、

针对VMA表演，一位替身负责演出Slim Shady的身体动作，而AI模型则实时应用Slim Shady的脸来展示给广播电视观众和现场人群观看。这可信地再创造了一个Slim Shady且没有分散表演者或观众的注意力。

现场表演中的AI：下一步是什么？

Metaphysic目前正在挑战由AI驱动的现场表演的极限。“我们一直致力于提高我们作品的真实度和质量，”普莱特说道，“以我们专业的眼光，我们看到了改进模型，完善集成流程，从而更快地运行系统的机会。”

“我们看到了扩展这项技术以替换整个身体，或在集成AI生成的背景及灯光效果的前提下创建互动体验的可能性，”普莱特补充道，“这方面的可能性巨大，而我们相信这项技术能够真正改变现场活动体验的打造方式，并这样不断进化。”

视效新时代

Metaphysic与制作公司Synapse和导演里奇·李（Rich Lee）合作制作了《Houdini》的MV，展示了AI在视效方面的潜力。MV视频中，Eminem的另一个人格Slim Shady从过去的传送门中走了出来，而Metaphysic的AI重现了他九十年代末的年轻面孔。这样得到的视效感觉十分自然和真实，使Slim Shady和Marshall Mathers（Eminem本名）在屏幕上都显得可信。

《Houdini》项目的完成时间不到三周。该项目的成功不仅归功于这项技术，还归功于AI生成的视效与人类表演之间的融合合作。这个MV视频在网上迅速传播，获得了数百万的观看量，并且为Metaphysic的技术成就赢得了广泛赞誉。

出处：Virtual Producer

编译：Charlie | 盖雅翻译小组