Nvidia研究人员提出用2D图像自动生成3D对象的渲染框架

外媒报道称,计算机很擅长计算 3D 模型,并将之放在 2D 屏幕上作展示。但若要将 2D 图像逆推成 3D 模型,计算机就有些力不从心了。 好消息是,在机器学习技术的加持下,英伟达研究人员已经提出了一种类似的渲染框架。其通过 AI 来获取 2D 信息,并将之准确地转换为 3D 对象 —— 这套系统被称作 DIB-R 。

DIB-R 的全称是“基于可微分插值计算的渲染器”,底层由 PyTorch 机器学习框架构建。在本周于温哥华举办的年度神经信息处理系统会议上,英伟达研究团队介绍了他们的最新进展。该框架的工作原理,几乎是与 GPU 的日常工作反过来干。它需要分析 2D 图像,然后形成一个高保真的 3D 对象,包括形状、纹理、颜色和照明。

其中,二期项目第一阶段投资约为70亿美元,将于明年3月竣工投产;第二阶段投资约为80亿美元,将于2021年下半年竣工。据介绍,二期项目建成后,三星电子闪存芯片项目每月产能将新增13万片,产值新增300亿元。

编解码器的体系结构,会从多变球形开始,并使用 2D 图像中给定的信息,对其进行变形处理。值得一提的是,该流程仅需 1 / 10 秒。若使用单个英伟达 V100 GPU 进行训练,需要对神经网络展开为期 2 天的训练。若使用其它 GPU 进行训练,更需要耗费数周的时间。研究人员认为,该系统可用于自主式机器人的深度感知应用,从而增强其在现实环境中工作时的安全性和准确性。通过这样的三维化处理,机器人能够更好地导航、以及操纵其需要处理的对象。

据悉,英伟达已将 DIB-R 添加到其 3D 深度学习的 PyTorch GitHub 库中(Kaolin),以帮助研究人员加速 3D 深度学习实验。

公开资料显示,三星电子是韩国最大的电子工业企业,同时也是三星集团旗下最大的子公司。三星电子于1938年3月在韩国大邱成立。