在我们的日常生活中，以人脸为主题的美术作品无处不在。无论是经典的肖像画，还是自己喜爱的动画片中的人物，甚至是流行名人的滑稽漫画，我们都被大量对人脸的艺术诠释所包围，并不断受到启发，将这些独特的视觉风格延伸到自己的照片中。在过去几十年中，人们一直希望能自动合成具有特定风格的头部肖像，同时又能保留原有的身份特征，这也是许多成功研究的动力，尤其是随着基于神经的图像风格转移技术的突飞猛进。尤其是随着基于神经的图像风格转换技术的突飞猛进 [1]、[2]、[3]。

一、二维几何图形风格转移方法的局限性

然而，艺术肖像风格转换远不止匹配局部纹理统计数据这么简单。直观地说，艺术肖像风格通常不仅包括色彩外观，还包括几何形状和结构。有鉴于此，近来人们不再只关注纹理外观，而是努力[4]、[5]和[6]适当处理几何风格，从而实现纹理转移和几何夸张，更好地从感知上传达风格。虽然取得了这一开创性的进展，但二维几何图形风格转移方法(2D geometry style transfer methods)仍然存在以下主要局限性 。

1.1 纹理和几何风格在投影的二维空间中不正交

首先，纹理和几何风格在投影的二维空间中并不是正交的(orthogonal)，它们是相互影响的。通过在原始图像平面上的直接操作，现有的大多数基于二维的方法并没有明确地将纹理和几何样式相互解耦，这就很难在不影响几何样式的情况下准确地转移纹理样式，反之亦然，从而大大降低了质量。

1.2 重用性受限

此外，局限于二维图像转换框架，可重用性受到很大限制。其结果是，只有一幅固定视角和头部姿势的图像，无法真正提供对几何形状的三维理解或纹理的分离参数化，因此无法进行进一步的调整和操作，而这对于三维感知图形应用来说尤为重要。

二、用于艺术肖像的分离式三维参数化法

为了克服这些限制，我们提出了一种用于艺术肖像的分离式三维参数化法，它包括两个方面： 1) 用面部地标捕捉粗略但突出的几何特征的几何形状，它能紧凑地表示几何风格，并对转移过程进行建模，从而以更少的示例来简化几何风格化；用三维网格捕捉精细的几何特征，该网格在地标的引导下变形。2) 典型纹理提供了不扭曲的外观参数化，避免了夸张几何体变形的干扰。这种互不干扰的参数化确保了几何图形和纹理的直接可重用性，为更多应用做好了准备。

在本文中，通过上述分散的三维参数化法，我们提出了目前所知的第一种基于范例的三维人像造型方法。如图 1 所示，在给定一张野生目标照片和一个单一风格范例的情况下，我们的方法生成了一个三维头部模型，该模型的纹理和几何形状均根据范例进行了适当的风格化处理，并可完全分解以进行操作。具体来说，我们的方法包含两个主要阶段。首先，几何风格转移阶段从目标中提取面部地标，并使用基于示例的无监督地标风格化网络进行转换。然后，以风格化的粗略全局形状为指导，通过地标引导的变形，脸部网格实现密集的几何夸张。最后，给定对齐良好的标准纹理，纹理风格转移阶段利用多视角可微分渲染方法逐步优化最终的风格化纹理。

图 1

我们证明了所提出的方法在各种艺术肖像风格上的优越性，而这些风格对于以前的图像风格转移方法来说是具有挑战性的，尤其是在几何风格转移方面。更重要的是，我们的三维输出将几何和纹理进行了适当的参数化和分离，不仅能实现图像风格化，还能立即实现多种新型三维应用，包括可识别的三维头像创建和重演、卡通三维肖像建模和个性化三维角色动画。源代码、预训练模型和数据将公开发布，以促进未来的研究。

更多细节大家可以参考原文 Exemplar-Based 3D Portrait Stylization 有针对的学习。在后面的文章我也将详细介绍作者用到的方法以及涉及的相关知识。