将静止的 2D 照片转换为 3D 渲染网格模型并不是一项快速或特别容易的任务。恰恰相反,NVIDIA 的图形研究副总裁 David Luebke 表示,实现这样的目标“一直被认为是统一计算机视觉和计算机图形的圣杯”。也许不会长久。
NVIDIA正准备在新奥尔良举行的计算机视觉和模式识别会议上展示其 3D MoMa 逆向渲染管道。这个由人工智能驱动的工具的承诺是,它可以让建筑师、设计师、概念艺术家、游戏开发人员和其他专业人士快速完成将对象导入图形引擎的工作。NVIDIA 表示,一旦进入内部,他们就可以修改比例、更改材料并使用不同的照明效果来玩弄。
“通过将逆渲染问题的每一部分都制定为 GPU 加速的可微分组件,NVIDIA 3D MoMa 渲染管道利用现代 AI 的机器和 NVIDIA GPU 的原始计算能力快速生成创作者可以导入、编辑和在现有工具中不受限制地扩展,”Luebke 解释说。
从 NVIDIA 的角度来看,当 3D 对象的形式可以放入流行的编辑工具(如游戏引擎等)时,艺术家和工程师的生活会轻松得多。这种形式是带有纹理材料的三角形网格。
在大多数情况下,创作者和开发者使用复杂的技术来创建 3D 对象,这既费时又费力。这就是神经辐射场的进步可以带来福音的地方。在这种情况下,NVIDIA 声称单个Tensor Core GPU可以利用其 3D MoMa 工具在一个小时内生成三角形网格模型。然后,最终结果对于已经用于进一步操作的流行游戏引擎和建模工具可能很重要。
“管道的重建包括三个功能:3D 网格模型、材料和照明。网格就像由三角形构建的 3D 形状的纸质模型。有了它,开发人员可以修改对象以适应他们的创意愿景。材料是2D 纹理像皮肤一样覆盖在 3D 网格上。NVIDIA 3D MoMa 对场景照明方式的估计允许创作者稍后修改对象上的照明,”NVIDIA 解释说。