3D图像生成和编辑研究成果大放送!朱俊彦团队放出两篇论文实现代码 | 资源

249 阅读2分钟
原文链接: zhuanlan.zhihu.com
乾明 发自 凹非寺
量子位 报道 | 公众号 QbitAI

朱俊彦团队,一口气放出两篇论文的实现代码!

这两篇论文,都与3D图像有关,都被NeurIPS 2018大会收录了。朱俊彦在Twitter上说,是他们团队整合3D图像和深度生成模型工作的一部分。



经过多年深耕,朱俊彦团队所在的MIT计算机科学与AI实验室,已经成了3D图像领域的研究高地。

如果你对这一领域感兴趣,走过路过,千万不要错过。

论文1:用GAN生成逼真的3D图像

这篇论文,题目为《Visual Object Networks: Image Generation with Disentangled 3D Representation》。



提出了一种用GAN生成3D图像的方法,不仅生成的图像效果逼真,还能在3个独立维度上拆分3D物体的元素,改变图像中物体的视角、形状、材质等参数,就能获得你想要的图形。



GitHub上放出的资源非常全面,不仅包含了预训练模型,还给出了训练数据集和详细的实现步骤。



配置环境:基于PyTorch 0.4.1,不支持0.4.0。目前只在Ubuntu 16.04和python 3.6环境中进行了测试,还没有在Nvidia RTX GPU系列产品上进行测试。

传送门

代码地址:

https://github.com/junyanz/VON

论文:

https://arxiv.org/pdf/1812.02725.pdf

论文2:功能强大的3D图像编辑工具

这篇论文,题目为《3D-Aware Scene Manipulation via Inverse Graphics》。



介绍了一种编辑3D图像的技术:3D场景去渲染网络(3D scene de-rendering networks,3D-SDN) ,能够在保持形状和纹理一致的情况下,自由旋转和移动目标对象,也能够在不影响其形状的情况下,改变目标对象的外观。



GitHub上给出的代码资源,同样很丰富,预训练权重、数据集样样俱全,每一步骤要使用的代码也都给了出来。



配置环境上,要比前一篇论文更加完善。框架同样是PyTorch,不过后缀只写了0.4。Python 3.6+;Linux系统;NVIDIA GPU (内存>8GB)+CUDA 9.0。

传送门

代码地址:

https://github.com/ysymyth/3D-SDN

论文地址:

https://arxiv.org/pdf/1808.09351.pdf


量子位 · QbitAI
վ'ᴗ' ի 追踪AI技术和产品新动态

量子位www.zhihu.com图标

欢迎大家关注我们,以及订阅我们的知乎专栏
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!
相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。