在2024年MTV音乐视频大奖（VMA）颁奖典礼上，Eminem与他1999年的另一个“人格”——Slim Shady的数字版本同台表演。这场在UBC Arena举行的现场表演由Metaphysic的AI技术提供助力，将这位艺术家的过去版本实时带到了舞台上。 Metaphysic的作品并不限于现场表演——他们还因为创作了Eminem《Houdini》的MV而斩获最佳视效奖。
实时AI表演背后的工作流
Metaphysic视效总监乔·普莱特（Jo Plaete）表示，让Slim Shady现身的过程十分复杂，需要周密的计划。“基本的工作流涉及几个关键阶段，每个阶段都是为解决这个特定表演节目的独特挑战而量身定做的，”普莱特解释道，“起初，我们从数据收集和准备开始，收集将被描绘成AI化身的角色的高质量参考图片和视频。这些参考资料包括各种面部表情、角度和布光条件，以有效地训练我们的AI模型。”
等这一步骤完成，团队继续使用深度学习训练AI模型。“我们处理收集的媒体文件并给它们加注释，然后使用这些算法训练AI模型，以复制人的面部五官和表情。”普莱特指出。工作流的此部分保证了在现场表演中AI化身的真实感。
准备表演
普莱特详细介绍了Metaphysic团队如何调整他们的技术以适应VMA表演的特殊挑战。“我们面临的挑战是，舞台上有多名混合的Eminem扮演者，可能有30至50人。”为了解决这个问题，团队准备了自己的系统来处理复杂的实时装置，确保摄影机开机后一切都能顺利运行。
到达会场后，团队进行了装卸设备和硬件设置，测试信号源以确保一切正常运行。“排练是我们工作流的关键部分，”普莱特说道，“他们允许我们调整技术，拍摄彩排素材，并将数据反馈给我们的模型训练。”
（未完待续）
出处：Virtual Producer
编译：Charlie | 盖雅翻译小组
