468 个点把脸"网"住:App Inventor 内置「面部网格」,做眨眼检测、戴眼镜滤镜

24 阅读2分钟

短视频里那些「戴墨镜」「长猫耳朵」的特效,背后都是同一件事:先在脸上找到一堆精确的点,再把贴纸钉到这些点上。

App Inventor 2 中文网内置的「面部网格」组件,一次给出脸上 468 个点,每个点带 x、y、z 坐标。人脸检测只告诉你「脸在哪」,面部网格告诉你「眼角在哪、嘴唇在哪、鼻尖在哪」。

怎么取点

两种取法:

  • 按名字取一个点:「关键点」传 NOSE_TIP(鼻尖)、FOREHEAD(额头)、LEFT_EYE_TOP(左眼上沿)这样的名字,直接返回 [x, y, z] 列表,不用解析 JSON。可用的名字在「关键点名称」属性里。
  • 按区域取一串点:「区域关键点」传脸廓、左眼、右眼、眉毛、嘴唇、鼻梁,返回这一圈的所有点。

人脸要离镜头近一点,大约 2 米以内。

第一步:检测,看看有几张脸

第一步:检测人脸

检测完,结果就缓存住了,之后随时取点,取多少次都行。

第二步:实时检测张嘴、眨眼

实时检测:网格覆盖面部,判断张嘴与睁眼

思路是比距离:嘴唇内侧上下两点的距离,除以脸宽,大于 0.1 算张嘴;眼睛上下沿的距离除以脸宽,小于 0.04 算闭眼。

为什么要除以脸宽?因为人离镜头近,所有距离都变大;离得远,都变小。除以脸宽,就和远近无关了:

第二步:用关键点距离判断张嘴、眨眼

阈值因人而异,眼睛大的小的差别不小。建议先把比例显示出来,自己睁眼闭眼看看数字,再定阈值。

有了这个,「张嘴吃豆子」「眨眼拍照」「疲劳驾驶提醒」都能做。

第三步:面部滤镜,眼镜帽子胡子

「添加贴图」把一张透明背景的 PNG 钉到关键点上。宽度按脸宽算,偏移也按脸宽算,人动贴图跟着动,歪头跟着转:

第三步:面部滤镜,眼镜帽子胡子

戴眼镜锚在两眼之间(BETWEEN_EYES),帽子锚在额头(FOREHEAD)往上挪,胡子锚在鼻底(NOSE_BOTTOM)。做滤镜时把「显示标注」关掉,画面上就只剩贴图,不会有一脸网格线。「保存当前画面」连贴图一起存成照片。


完整教程原文(含全部配图与素材下载):www.fun123.cn/reference/c…