一张风格化图片就可以实现 2D 人像到 3D 人像的风格化转换?

323 阅读3分钟

声明:本文翻译自论文 Exemplar-Based 3D Portrait Stylization,并包含一些个人理解,如有问题,欢迎探讨和指正,有需要的朋友还可以自行研究原文。

是的,没错,这篇文章就讲述了如何仅仅使用一张风格化图片就可以实现 2D 人像到 3D 人像的风格化转换。

一、摘要

1.1 背景

基于范例的肖像风格化具有广泛的吸引力,也是人们所渴求的。尽管最近取得了一些成功,但它仍然具有挑战性,特别是在同时考虑纹理和几何风格时。

1.2 框架

在本文中,我们首次提出了 one-shot 3D 人像风格转换框架,它可以生成夸大的几何和有艺术效果的纹理的三维人脸模型,同时保留原始内容的特征。它只需要一张任意风格的图像,而不需要大量特定风格的训练实例集,能提供完全参数化和分离的几何和纹理输出,并能利用三维表征(3D representations)进一步实现图形应用。

该框架由两个阶段组成。

在第一个几何风格转换阶段,我们使用面部地标平移来捕捉粗略的几何样式,并指导密集的三维面部几何的变形。

在第二个纹理风格转换阶段,我们采用可微分渲染器(a differentiable renderer)在多视角框架下(in a multi-view framework)优化纹理,重点对典型的(canonical)纹理进行风格转换。

1.3 实验结论

实验表明,我们的方法在不同的艺术风格上都取得了稳健的良好效果,优于现有方法。我们还通过各种二维和三维图形应用展示了我们方法的优势。项目的原始页面是:halfjoe.github.io/projs/3DPS/…

web_res1.gif

web_res2.gif

web_res3.gif

web_res4.gif

上面的四组动图中的 Deformed mesh 就是第一个阶段的结果,一个变形的网格数据。 Stylization Result 就是第二个阶段纹理风格转换的结果。通过这个框架,就只需要传入一张如style所示的图片,就可以把content所示的2d内容转换成3d几何和纹理风格化的3d模型。

1.4 应用

同时这项技术还可以应用到许多实际案例当中,如下所示

web_app1.gif

这是风格化肖像再扮演的一个例子,输入一个视频,可以根据视频中真实的人做出一些动作来扮演肖像风格的人物,让我想到的就是以前看的阿凡达的拍摄。

web_app2.gif

这个例子输入肖像图片,输出风格化的肖像模型,对于卡通肖像模型的制作有着很大的帮助,在电影,卡通片,游戏等场景中都可以很好的应用。

web_app3.gif

对于已有的卡通人物的动作,想要用具体人像风格来替代可以用这种方法,这样就可以实现不同人物风格的肖像,做一些人无法做的动作,这些动作用已有动画人物的动作来完成就好了。

web_app4.gif

几何感知图像风格转移,根据特定的风格化图片,改变原有图片的面部特征。