新算法诞生:用2D图像中做出优质3D模型

技术前沿

图片来源:Microsoft

近日,研究人员写出了新算法,能快速将2D数据按比例转换为3D图像。

微软研究人员称,他们已经做出了一个AI系统,能利用2D图像转换出效果更优的3D模型。该系统首次使用了Unreal Engine和Unity等现成的仿真图像渲染技术,让动画内容制作更便宜高效。

虽然生成对抗网络(GANS)已经能够生成效果不错的2D图像数据,但是很多视觉应用需要的不仅是图像,还需要输入3D模型。

训练数据

如果直接扩展现有的GAN模型,研究人员需要3D训练数据,但这类数据很昂贵。所以,研究人员开始搭建一个AI系统,让它只通过2D图像数据训练来学习如何生成3D模型,这样的应用范围更广,也更省钱,而且容易上手。

专业人士解释,在实验中,研究团队为生成器使用了3D卷积GAN架构。研究人员利用3D模型和现实数据创建了合成数据集,在不同角度进行渲染,生成了不同物体的合成图像。

研究人员也使用了曝光和阴影信息,让渲染引擎生成浴缸、沙发等高质量的凸起形状,解决之前同类技术未能解决的难题。

理论上,该技术能应用在更多复杂的图像渲染引擎上,学习更具细节的3D信息。

最后,研究人员总结道:“我们的模型已经结合了色彩、材质和光线预测功能,希望能让机器接触更多真实世界的数据组。”(T)

views
技术前沿
Pomfort 发布 Offload Manager 1.5.3 更新

Offload Manager – 1.5.3  更改 · 为macOS 15 Sequ …

技术前沿
Pomfort Virtual LUT Box 2.2 更新

VIRTUAL LUT BOX V2.2 针对虚幻引擎(V5.4) Tue, 01 Oct 2024 …

技术前沿
Live FX 产品套装 v9.8 先行版1167更新

舞台灯光 —— DMX 控制台灯具控制映射功能更新,更多通用细节,欢迎点击本文查看