Migration主创探讨生成式AI与动画

影视制作

杰里米·希金斯(Jeremy Higgins)近日发布了一部动画短片《迁移》(Migration,暂译),捕捉了向外探索的奇妙历程和生命的循环轨迹。使《迁移》区别于其他作品的地方在于它使用了生成式AI来创建动画背景。该项目是Runaway“百部电影基金”的首部发行作品。采访人诺亚·坎德纳(Noah Kadner)和动画主创杰里米·希金斯坐下来讨论了他的创作过程,对Runway AI工具的使用,以及这对动画的未来可能意味着什么。

《迁移》采用了一种基于AI和二维动画的合成图像。

诺亚·坎德纳:是什么激发了你制作《迁移》的灵感?

杰里米·希金斯:我喜欢实验。早在读大学时,我就被推向了更多的实验性作品。我当时有位老师:他会带来一把香蕉,让我们用它们做一本书。做那样的项目促迫使我改变常规想法。当AI出现时,它其实只是又一件我们可以把玩的东西,而我们通过AI查看如何把它和自己已经在做的事混合到一起。《迁移》就是这样诞生的。

诺亚·坎德纳:你是如何将AI融入这部电影的制作管线的?

杰里米·希金斯:我当时已经有了这么个角色:探险家。当AI工具首次出现时,我开始用它生成图像并将角色放入这些环境中,并在AI生成的图像上进行动画实验。当我开始制作《迁移》时,我已经知道我在融入AI方面想要怎么做了。我使用了Runaway的最新更新版Gen 3来给所有的背景制作动画。关键在于找到一种方法将这个角色融入一个AI生成的世界。

探险家的角色。

诺亚·坎德纳:与传统的动画工作流相比,使用AI生成的背景效果如何?

杰里米·希金斯:老实说,两者很相似。我们用AI生成的图像作为背景,因为故事发生在一个AI星球上,而我们的探险家来自我们的世界,进入了这个故事宇宙。在背景中使用AI就像是在做数字绘景或道具设计——两者很相似。我们使用AI来添加精细的动作。我尝试做一些类似于传统动画的东西:其中有一个相对静态的背景,并在那个环境中做运镜工作。为此,我们采用了一种更为二维的方式——从AI背景到与传统手绘动画合成的工作流。

诺亚·坎德纳:在这个过程中你遇到了哪些挑战?

杰里米·希金斯:最具挑战性的部分是让这个角色给人感觉他本来就是这个世界的一部分。如果使用传统动画制作方法,你可以在角色前方放置前景物体。而对于这些AI背景,它更像是一种静态的背景实拍原档。你必须学会用2D合成技巧将角色融合进去——布光、遮罩,等等。我没有做出任何妥协,但这让某些事情做起来更直接了,比如要求某种运镜。不过,你还是得自己负责最重要的部分。

诺亚·坎德纳:当你使用AI工具生成这些背景时,这个过程是怎样的?

杰里米·希金斯:埃文·约翰逊(Evan Johnson)和我一起编写了这部动画的剧本,并做了AI生成。做完编剧之后,他在动画制作期间没有太多事情可做,于是他接管了AI编剧的提示写作。为了得到正确的图像,我们做了很多版本——有成百上千条提示。重点都在于迭代。你不可能第一次尝试就得到最好的结果。即使一开始看起来不错,但在第200次迭代之后,它总是会变得更好。我们还使用了图像参考,而不是完全依赖于文本提示。由于这是个AI世界,我希望一切都由AI生成,而不使用任何具体的艺术家或风格的参考。

诺亚·坎德纳:你对那些想尝试AI的动画师有什么建议吗?

杰里米·希金斯:接受AI带来的怪异感。它有它自己的视觉语言。有时候,它看起来几乎是真实的;有时候,它又非常古怪。但如果有意想不到的效果出现,有时你必须接受它,顺其自然。如果你想更偏向传统做法,你当然可以这么做,但你必须找到一种方法来处理这种随机性。你只需不断尝试,直到得到的效果开始让你感觉良好。

《迁移》分镜

 诺亚·坎德纳:观众对《迁移》是什么反应?

杰里米·希金斯:反应是积极的。我喜欢当人们观看一些内容却说不出它是怎么做出来的。我觉得这种好奇心会提升观看体验。

创作一些能让人们脸上露出笑容的东西,而尽管这是个AI生成的故事世界,但它仍然能让人觉得亲切可感。故事结局有这样一个转折:动画中的生物吃掉了之前与他共享过美好时刻的东西——这个转折令人困惑、有趣,而且还直接展示了生命的循环。我希望从中得到的是这样的回应: 既让人惊讶,又让人快乐。

诺亚·坎德纳:最近有没有其他AI驱动的项目激发了你的灵感?

杰里米·希金斯:有几个引起了我的注意,特别是那些混合了AI元素的真人实拍。我看过一个把真人在绿幕上与AI生成的背景和3D模拟结合在一起的。效果非常漂亮,也展示了AI如何能被整合到不同的媒介中。我还未看到很多像我这样的2D动画项目。似乎动画师们还在研究如何有效地使用AI,但我认为这方面还有着很大的潜力。这就是我做《迁移》的原因之一——为了展示AI在2D动画中可以有一席之地,而它可以既有趣又古怪。

诺亚·坎德纳:你认为未来几年AI在动画领域的发展趋势是什么?

杰里米·希金斯:在接下来的几年里,我希望看到更高的分辨率——比如从720p提高到1080p——以及更长的生成时长。我很好奇时长一分钟的AI生成内容会是什么样子。我们会看到AI更多地进入电影行业,进入视效和其他领域。它只不过是你工具库里的又一种工具罢了。人为因素仍然是必不可少的——我们才是掌控一切的那一方,而我们需要让AI变得更好。

诺亚·坎德纳:你接下来会做什么?

杰里米·希金斯:我的话,我总是在混合媒体的领域中。我可以理解纯粹的单一媒介的发展状态,但我总是在我的项目中结合不同的媒介。AI只是我可以融合的另一个层面。我目前正在研究一种将真人实拍素材和生成性AI元素结合起来的东西。我想推动这种组合——做一些让人感到熟悉又梦幻的东西。

《迁移》

导演:Jeremy Higgins

编剧:Evan Johnson/Jeremy Higgins

美术指导:Jeremy Higgins/Britton Korbel

动画师:Suejee Lee, Haolun Liu, Britton Korbel

AI动画:Evan Johnson

文字动画:Min Kim


出处:Virtual Producer

编译:Charlie | 盖雅翻译小组

 

views
影视制作
Kevin Shaw 解答调色师常见问题(新手调色师必看)

〖更新至3-5〗新手调色师必看!

影视制作
DP 谈《粗野派》的VistaVision胶片摄影

〖更新至2-7〗该片探索了建筑领域的野心和人类本性的冲突,并以罕见的 VistaVision 格式获得了惊人的视觉叙事效果

影视制作
《猫猫的奇幻漂流》:一场团队协作与自我探索之旅

〖更新至2-5〗来自拉脱维亚的导演金兹·兹巴洛迪斯的影片《猫猫的奇幻漂流》(Flow)荣获第97届奥斯卡金像奖最佳动画长片。