我在NAB的使命是:找出哪些新产品会让虚拟制作更平价、更易得,并且不需要精通虚幻引擎。
幸运的是,我找到了一些这样的设备选择,还找到了一些将生成式AI和虚拟制作结合在一起的新工具。
让我们来深入了解一下NAB上的虚拟制作最新动态。
预算友好的虚拟制作
首先是VIVE Mars CamTrack,这是一个能搭建平价虚拟影棚的完全套餐。
HTC的VIVE已经进军虚拟现实领域有一段时间了,拥有部分顶级VR头戴设备。他们还制作了VIVE追踪器,一个巴掌大小的定位器,可在虚拟空间中追踪物体或肢体。电影制作者们意识到,你可以在摄影机上安装追踪器,然后——超酷炫地——立即连接虚拟影棚在虚拟场景中跟踪摄影机。
好吧,其实也没那么酷炫。
我自己钻研过这个问题,花了几小时在YouTube和Facebook群组里试图弄清如何让虚幻引擎识别VIVE追踪器并建立我的临时虚拟空间。你得越狱这款软件,因为追踪器只有连接到头戴设备时才能工作,而虚拟制作并不需要头戴设备。
幸运的是,HTC意识到了旗下追踪器在虚拟制作方面的潜力,并专门为此开发了一款新产品:VIVE Mars CamTrack。
它使用相同的现有追踪器和基站,带一些额外的新硬件。花5千美元(约合3万6千人民币)就能买到配备了两个追踪器和两个基站的Mars CamTracker,可以覆盖大约10×10米的区域。
追踪器连接到一个rover(追踪器和rover组合可安装到你的摄影机或任何你想跟踪的东西上)。这套装备有三个rover(一个rover是额外的,以防你想再买一个追踪器)。以太网线缆从rover一直延伸到整个操作的核心,也就是Mars盒子上。这个盒子会运行所有的跟踪操作,并将定位数据发送到运行着虚幻引擎或Aximmetry的计算机上。
这套设置的优点是所有的跟踪和处理都是与生成虚拟片场的计算机分开运行的。此外,大型触摸屏使建立跟踪空间轻而易举。且整套装置可以方便地放进一个Pelican箱中。
在NAB预发布但尚未正式发布的还有FIZTrack,一款光线镜头编码器,可以跟踪变焦、对焦,或曝光,并通过同一个跟踪盒子发送数据到Mars。
这样我们就得到了一套平价虚拟影棚——那么,怎么做到不是虚幻引擎专家但能加载虚拟场景呢?
这里就要提一提ARwall和他们即将推出的ARFX StudioBox了——一款价值4200美元(约合3万元人民币)的“盒装”虚拟工作室。这是一台便携式计算机,可发送一条实时4K信号到LED 墙、电视或投影仪进行实时合成。此外,你还可以用手机作为追踪器——只要把它安装在摄影机上就行。
但计算机不是最有趣的部分。他们的ARFX应用程序的设计目的便是让虚拟制作变得极其简易。从他们的库加载一个场景,用鼠标或Xbox控制器导航,调整布光和天气,你就可以开始虚拟制作。
正如ARwall的首席执行官雷内·阿玛多(Rene Amador)所描述的:“这就好比运行一款电子游戏……但这个你正在玩的游戏是在制作一部电影。”
现在我们已经介绍了一些对预算友好的选项,但如果你在寻求为更大型的虚拟制作项目提高技能水平,Mo-Sys有一些可选项和最新更新。
首先是他们的Mo-Sys学院,一款开在洛杉矶或伦敦的为期三至五天的课程,提供虚拟制作领域的实践培训。
他们还发布了人气产品StarTracker摄影机跟踪器更便携的新版本。StarTracker靠星图运行——即一系列随机放置在地板或天花板上的跟踪点,它们会被映射出来,创造出可供连接在摄影机上的StarTracker读取的虚拟空间。这种配置的优点是,一旦创建了这样的星图Starmap,就不必每次启动时都进行校正了。
AI遇上虚拟制作
2023年是生成式AI进入主流的一年,且它已经在虚拟制作中找到了用途。
Vū公布了Vū虚拟工作室,即一系列即将推出的虚拟制作工具。Cuebric是其中一款工具,使用生成式AI来创建2.5 D场景,可在虚拟影棚中作为带视差虚拟背景使用。这款工具类似于在Twitter上广泛传播的Blockade Labs推出的另一款工具:你可以画出一份粗略图表,然后把它变成一个虚拟空间。
AI不仅仅是文本到图像的生成。Disguise公司宣布与move.ai合作,后者使用一系列摄影机和AI实时跟踪人,而无需穿戴特制服装或传感器。
还有Puget Systems公司——一家定制计算机制造商,为展会上展出的大量LED墙提供驱动。该公司正展示了其强大定制系统的一个新用途:生成式AI。他们展示的用例是Digital Corridor如何使用他们的系统运行Stable Diffusion来创建他们用AI制作动画的短片。
眼见并不为实
最后,我们来看看GhostFrame展示的虚拟制作的未来。
人眼看来,由GhostFrame驱动的LED墙看起来像是个常规场景。但这些LED墙(和连接的布光)正在以亚秒级循环三个(或更多)不同的场景,同时摄影机通过调整帧率和快门角度过滤每一个风格,由此你得到的是三个布光和背景都完全不同的独立输出(或现实)。
它的实际用途是什么?一个私人演示室里展示了同时录下在白天和夜晚驾车穿越拉斯维加斯的过程。另一个用途是你可以机内录制你的虚拟片场,但也同时有一条LED墙作为绿幕的信号和另一条带隐藏跟踪标记的信号,以防你想在后期替换掉片场。
在Disguise展台的演示中,有一个使用GhostFrame的直播范例,其中每台摄影机只在虚拟布景同一面LED墙上录制相应角度。
虚拟的未来
我们已经看到了虚拟制作的飞速发展,依靠大型虚拟影棚创造幻想世界,无论是《曼达洛人》(The Mandalorian)中的陌生行星,还是《1899》中的远洋客轮。但是虚拟制作的未来应用规模会更小……也会更接地气。
来自Vū的杰米·克莱门斯(Jamie Clemens)认为虚拟制作会取代实拍,因为它提供了他所说的虚拟制作的三个“C”:创意、自信和控制(creativity, confidence, and control)。
Disguise的尼克·里韦罗(Nick Rivero)表示,他们看到更小的10英尺(约合3米)LED 墙不断增多:“我想人们开始意识到虚拟制作不仅仅意味着大型虚拟影棚,它其实是一种工具集。”
出处:Joey Daoud | Filmmaker Magazine
编译:Charlie | 盖雅翻译小组