欢迎关注收藏或分享，转载请注明出处。
个人专栏

人脸重建是计算机视觉比较热门的一个方向，3d人脸相关应用也是近年来短视频领域的新玩法。不管是Facebook收购的MSQRD，还是Apple研发的Animoji，底层技术都与三维人脸重建有关。

同时，实现人脸重建及相关应用需要深入了解优化算法等，工程量也不小，是学习cv的一个很好切入点。

▲ Apple推出Animoji[0]

▲ Facebook收购MSQRD[1]

这里的人脸重建指，通过二维人脸图像重建出该人脸的三维模型。大概有以下几种方法：通过多视图几何来重建，这个需要采集不同角度的人脸，对设备的要求也比较高；通过RGBD或RGB相机，用3D Morphable Model（3DMM）方法来重建。这种方法也有局限性，由于模型特点所致，无法生成模型细节（皱纹等）；还有近年来出现的使用深度学习方法来重建（有的是结合传统3DMM方法，训练其人脸模型参数）。

本文主要讲讲单目RGB相机的3DMM方法。这种方法对设备要求低，算法简单，易于移动端实现实时重建。这里的前提是我们已经有了图像人脸检测的关键点。输入图像及检测到的人脸关键点，输出人脸三维网格。

概述

3DMM方法由Blanz[2]99年首次提出，往后的改进通常是基于他们的工作。这种方法有一个关于人脸模型的”先验知识“，即可形变模型。因此不管人脸处于什么角度，都能得到较完整的人脸。

现在比较常见的人脸模型有Basel Face Model（BFM）、Surrey Face Model（SFM）、FaceWarehouse、Large Scale Facial Model (LSFM)等。其中，LSFM可能是如今最精准的模型。BFM比较容易获取，很多人用它进行实验。SFM的开源框架也为社区做出了巨大贡献。同时，浙大团队的FaceWarehouse以及一系列相关的文章都值得一读。