【传知代码】微表情识别系统（论文复现）

亦世凡华
270 阅读5分钟

前言：当我们和他人交流时，语言只是其中一部分。实际上，我们的面部表情也扮演着至关重要的角色。微表情，那些短暂而难以察觉的面部表情变化，可以揭示出我们内心深处真实的情感。想象一下，如果我们能够解读这些微妙的信号，并从中获取对方真实感受的线索，我们将如何受益无穷？在这个充满挑战和机遇的时代，微表情识别系统正在革新我们的交流方式。让我们一起探索这个令人着迷的领域，看看这项技术如何为我们带来更加深入、有效的沟通体验。

本文所涉及所有资源均在传知代码平台可获取

概述

面部表情图像预处理是面部表情识别的重要步骤,主要目的是在于提取特征之前排除一切与面部表情无关的干扰因素。例如,环境光照、姿势和不同背景等。在干扰排除后,将人类面部直接与公共参考系相对接、使每个面部特征对应的语义位置精准无误。人脸检测、人脸对齐、数据增强、人脸一是实现面部表情图像预处理的主要方法，其实现的大体逻辑如下：

图片.png

通过表情识别系统可以用于检测和识别与情感相关的面部表情，例如愤怒、快乐、悲伤等等，从而帮助人们更好地理解他们自己和他人的情感状态，如下：

图片.png

演示效果

通过运行系统，可以打开如下界面：

1704619651288_image.png

功能分别是中文显示识别结果以及用英文显示识别结果以及相应的置信度计算结果展示。
英文显示：

1704954380190_image.png

中文显示：

1704954402804_image.png

可以通过导入中文字体，然后设置中文字体，代码如下：

font = cv2.FONT_HERSHEY_SIMPLEX
font_chinese = cv2.FONT_HERSHEY_SIMPLEX 

# 指定中文字体文件路径，替换成你自己的中文字体文件路径

font_path = ''
font_chinese = cv2.FONT_HERSHEY_SIMPLEX
cv2.putText()

# 确保你已经下载并设置好中文字体文件路径。
# 修改中文文字输出的位置和格式：
# 在矩形框上部，输出中文分类文字和置信度
text = f"{} ()"
cv2.putText()

将 cv2.putText 函数的 font 参数替换为 font_chinese，以确保使用中文字体。置信度计算如下，直接点击按钮运行，再运行界面按“z”停止程序。模型训练文件在百度云盘下载，替换相应的相对路径位置后运行：

图片.png

核心代码实现

进行人脸检测的核心代码如下：

# 初始化字典，并保存Haar级联检测器名称及文件路径
detectorPaths = {
    "face": "haarcascade_frontalface_default.xml"
}
'''
加载Haar级联检测器：
创建一个空字典detectors，用于存储加载的检测器。
使用cv2.CascadeClassifier()加载XML文件，并将检测器存储在detectors字典中。
'''
# 初始化字典以保存多个Haar级联检测器
print("[INFO] loading haar cascades...")
detectors = {}

# 遍历检测器路径
for (name, path) in detectorPaths.items():
    # 加载Haar级联检测器并保存到map
    path = os.path.sep.join([args["cascades"], path])
detectors[name] = cv2.CascadeClassifier(path)
'''
图像处理：
从磁盘读取输入图像，使用imutils.resize函数将图像宽度调整为500像素。
将图像转换为灰度图以便进行人脸检测。
'''
# 从磁盘读取图像，缩放，并转换灰度图
print(args['image'])
image = cv2.imread(args["image"])
image = imutils.resize(image, width=500)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
'''
执行面部检测：
使用人脸检测器执行面部检测，得到面部的边界框坐标。
'''
# 使用合适的Haar检测器执行面部检测
faceRects = detectors["face"].detectMultiScale(
    gray, scaleFactor=1.05, minNeighbors=5, minSize=(30, 30),
flags=cv2.CASCADE_SCALE_IMAGE)
'''
眼睛和嘴巴检测：
对于每个检测到的面部，分别在面部ROI中应用眼睛和嘴巴检测器，得到相应的边界框坐标。
'''
# 遍历检测到的所有面部
for (fX, fY, fW, fH) in faceRects:
    # 提取面部ROI
    faceROI = gray[fY:fY + fH, fX:fX + fW]
    # 在面部ROI应用左右眼级联检测器
    eyeRects = detectors["eyes"].detectMultiScale(
        faceROI, scaleFactor=1.1, minNeighbors=10,
        minSize=(15, 15), flags=cv2.CASCADE_SCALE_IMAGE)
    # 在面部ROI应用嘴部检测
    smileRects = detectors["smile"].detectMultiScale(
        faceROI, scaleFactor=1.1, minNeighbors=10,
        minSize=(15, 15), flags=cv2.CASCADE_SCALE_IMAGE)

多人脸检测的效果如下：

1704959664771_image.png

Haar是一种特征描述，随着时代的进步Haar也从Haar Basic的三种简单特征扩展到了Haar-Like以及到现在的Haar Extended。但是万变不离其宗，我们笼统得把他们分成三类:中心特征,线性特征, 边缘特征。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。

1704524639483_image.png

Haar原来就是一些固定的特征模型，在人脸识别这个特助的领域中可以局部的契合图像特征，如下：

1704526390238_image.png

微表情识别采用，卷积神经网络，通过FaceCNN 类初始化。定义了一个包含卷积层、批量归一化、RReLU激活函数、池化层和全连接层的卷积神经网络结构，前向传播方法 (forward)：定义了模型的前向传播过程。

1704526810264_image.png

​

写在最后

        微表情识别系统是一个极具前景和价值的领域，可以帮助我们更好地理解和应对人类情感、健康、安全和商业等方面的问题。虽然这项技术还面临着许多挑战和困难，例如数据准确性、隐私保护和伦理道德等方面的问题，但是随着科技的不断进步和社会需求的不断增加，微表情识别系统将会迎来越来越广泛的应用和发展。在未来，我们有理由相信，这项技术将为人类提供更加深入、有效的沟通方式，促进人类社会的和谐与进步。

详细复现过程的项目源码、数据和预训练好的模型可从该文章下方附件获取。

【传知科技】关注有礼     公众号、抖音号、视频号

avatar
文章
阅读
粉丝