人体姿态估计:从给定的图像中识别人脸,手部,身体等关键点即输入图像输出所有关键点的像素坐标比如人脸,手势等关键点信息。 人体参数化模型:从图像或者视频中恢复运动的3D人体模型。 下游任务:
- 行为识别 如PoseC3D:基于人体姿态识别行为动作
- CG,动画
- 动物行为识别
2D姿态估计
在图像上定位人体关键点的坐标
基本思路:基于回归
将关键点检测问题建模成一个回归问题,让模型直接回归关键点的坐标
存在问题:深度模型直接回归坐标困难,精度不是最优
基于热力图
并不直接回归关键点的坐标,而是预测关键点位于每个位置的概率
- 热力图可以基于原始关键点生成坐标,作为训练网络的监督信息
- 网络预测的热力图也可以通过求极大值等方式得到关键点的坐标 问题:模型预测热力图比直接回归坐标相对容易,模型精度相对更高,因此主流算法更多基于热力图,但预测热力图的计算量消耗大于直接回归