Step by step 教使用python3 实现人脸识别

感谢分享原文-bjbsair.com/2020-04-03/…

什么是人脸识别

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

目前的人脸识别技术已经非常成熟了，还发展成3D人脸识别。而且现在各大厂商也都提供了人脸识别的API接口供我们调用，可以说几行代码就可以完成人脸识别。但是人脸识别的根本还是基于图像处理。在Python中最强大的图像处理库就是OpenCV。

OpenCV简介

OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV基本使用

安装

pip install opencv-python  # 基础库  
pip install opencv-contrib-python  # 扩展库  
pip install opencv-python-headless  

读取图片

读取和显示图片是最基本的操作了，OpenCV当中使用imread和imshow实现该操作

import cv2 as cv  
  
# 读取图片，路径不能含有中文名，否则图片读取不出来  
image = cv.imread('1111.jpg')  
  
# 显示图片  
cv.imshow('image', image)  
  
# 等待键盘输入，单位是毫秒，0表示无限等待  
cv.waitKey(0)  
  
# 因为最终调用的是C++对象，所以使用完要释放内存  
cv.destroyAllWindows()  

将图片转为灰度图

OpenCV中数百中关于不同色彩控件之间转换的方法。目前最常用的有三种：灰度、BGR、HSV。

• 灰度色彩空间是通过去除彩色信息来讲图片转换成灰阶，灰度图会大量减少图像处理中的色彩处理，对人脸识别很有效。
• BGR每个像素都由一个三元数组来表示，分别代码蓝、绿、红三种颜色。python中还有一个库PIL，读取的图片通道是RGB，其实是一样的，只是颜色顺序不一样
• HSV，H是色调，S是饱和度，V是黑暗的程度
  将图片转换为灰度图

import cv2 as cv  
  
# 读取图片，路径不能含有中文名，否则图片读取不出来  
image = cv.imread('1111.jpg')  
  
# cv2读取图片的通道是BGR，  
# PIL读取图片的通道是RGB  
# code选择COLOR_BGR2GRAY，就是BGR to GRAY  
gray_image = cv.cvtColor(image, code=cv.COLOR_BGR2GRAY)  
  
# 显示图片  
cv.imshow('image', gray_image)  
  
# 等待键盘输入，单位是毫秒，0表示无限等待  
cv.waitKey(0)  
  
# 因为最终调用的是C++对象，所以使用完要释放内存  
cv.destroyAllWindows()  

绘制矩形

image = cv.imread('1111.jpg')  
  
x, y, w, h = 50, 50, 80, 80  
  
# 绘制矩形  
cv.rectangle(image, (x, y, x+w, y+h), color=(0, 255, 0), thickness=2)  
  
# 绘制圆形  
cv.circle(image, center=(x + w//2, y + h//2), radius=w//2, color=(0, 0, 255), thickness=2)  
  
cv.imshow('image', image)  
cv.waitKey(0)  
cv.destroyAllWindows()  

人脸检测

人脸检测实际上是对图像提取特征，Haar特征是一种用于实现实时人脸跟踪的特征。每个Haar特征都描述了相邻图像区域的对比模式。比如边、定点和细线都能生成具有判别性的特征。OpenCV给我们提供了Haar特征数据，在cv2/data目录下，使用特征数据的方法def detectMultiScale(self, image, scaleFactor=None, minNeighbors=None, flags=None, minSize=None, maxSize=None)

• scaleFactor: 指定每个图像比例缩小多少图像
• minNeighbors: 指定每个候选矩形必须保留多少个邻居，值越大说明精度要求越高
• minSize：检测到的最小矩形大小
• maxSize: 检测到的最大矩形大小

检测图片中人脸

import os  
import cv2 as cv  
  
def face_detect_demo(image):  
    # 将图片转换为灰度图  
    gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)  
  
    # 加载特征数据  
    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
    faces = face_detector.detectMultiScale(gray)  
    for x, y, w, h in faces:  
        cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  
  
# 读取图片，路径不能含有中文名，否则图片读取不出来  
image = cv.imread('2222.jpg')  
  
face_detect_demo(image)  
  
# 显示图片  
cv.imshow('image', image)  
  
# 等待键盘输入，单位是毫秒，0表示无限等待  
cv.waitKey(0)  
  
# 因为最终调用的是C++对象，所以使用完要释放内存  
cv.destroyAllWindows()  

采用默认参数，检测人脸数据不全，需要调整detectMultiScale函数的参数，调整为faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)

我们发现除了检测到人脸数据，还有一些其他的脏数据，这个时候可以打印检测出的人脸数据位置和大小

faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)  
for x, y, w, h in faces:  
    print(x, y, w, h) # 打印每一个检测到的数据位置和大小  
    cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  

从大小中我们看到最大的两个矩形，刚好是人脸数据，其余都是脏数据，那么继续修改函数参数faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3, minSize=(80, 80))

检测视频中人脸

视频就是一张一张的图片组成的，在视频的帧上面重复这个过程就能完成视频中的人脸检测了。视频读取OpenCV为我们提供了函数VideoCapture，参数可以是视频文件或者0（表示调用摄像头）

import cv2 as cv  
  
# 人脸检测  
def face_detect_demo(image):  
    try:  
        # 将图片转换为灰度图  
        gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)  
  
        # 加载特征数据  
        face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
        faces = face_detector.detectMultiScale(gray)  
        for x, y, w, h in faces:  
            print(x, y, w, h)  
            cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  
    except Exception as e:  
        pass  
  
cap = cv.VideoCapture('人脸识别.mp4')  
while cap.isOpened():  
    flag, frame = cap.read()  
  
    face_detect_demo(frame)  
    cv.imshow('result', frame)  
    if ord('q') == cv.waitKey(5):  
        break  
  
cap.realse()  
cv.destroyAllWindows()  

这个我们是做的人脸识别，怎么把爱好都识别了，这么先进吗？很显然这不太符合我们的要求，爱好只能藏在心里，你给我检测出来就不行了。所以我们必须要进行优化处理。OpenCV为我们提供了一个机器学习的小模块，我们可以训练它，让它只识别我们需要的部分，不要乱猜测。

训练数据

训练数据就是我们把一些图片交给训练模型，让模型熟悉她，这样它就能更加准确的识别相同的图片。训练的数据一般我们可以从网上搜索：人脸识别数据库，或者从视频中保存美帧的数据作为训练集。所有的人脸识别算法在他们的train()函数中都有两个参数：图像数组和标签数组。这些标签标示进行识别时候的人脸ID，根据ID可以知道被识别的人是谁。

获取训练集

从视频中每隔5帧截取一个图片，保存成图片

import cv2  
  
cap = cv2.VideoCapture('人脸识别.mp4')  
  
number = 100  
count = 1  
while cap.isOpened() and number > 0:  
    flag, frame = cap.read()  
    if not flag:  
        break  
  
    if count % 5 == 0:  
        # 按照视频图像中人脸的大体位置进行裁剪，只取人脸部分  
        img = frame[70:280, 520:730]  
        cv2.imwrite('data/{}.png'.format(number), img)  
        number -= 1  
    count += 1  
  
cap.release()  
cv2.destroyAllWindows()  

使用LBPH训练模型

def getImageAndLabels(path_list):  
    faces = []  
    ids = []  
    image_paths = [os.path.join(path_list, f) for f in os.listdir(path_list) if f.endswith('.png')]  
    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
    for image in image_paths:  
        img = cv.imread(image)  
        gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)  
        faces = face_detector.detectMultiScale(gray)  
        _id = int(os.path.split(image)[1].split('.')[0])  
        for x, y, w, h in faces:  
            faces.append(gray[y:y+h, x:x+w])  
            ids.append(_id)  
    return faces, ids  
  
faces, ids = getImageAndLabels('data')  
  
# 训练  
recognizer = cv.face.LBPHFaceRecognizer_create()  
recognizer.train(faces, np.array(ids))  
  
# 保存训练特征  
recognizer.write('trains/trains.yml')  

基于LBPH的人脸识别

LBPH将检测到的人脸分为小单元，并将其与模型中的对应单元进行比较，对每个区域的匹配值产生一个直方图。调整后的区域中调用predict函数，该函数返回两个元素的数组，第一个元素是所识别的个体标签，第二个元素是置信度评分。所有的算法都有一个置信度评分阈值，置信度评分用来衡量图像与模型中的差距，0表示完全匹配。LBPH有一个好的识别参考值要低于50。基本步骤为：

• cv.VideoCapture读取视频
• Haar算法检测人脸数据
• 基于LBPH训练集得到准确人脸数据，并输出标记此人是谁
• 按置信度取准确度高的人脸标记出来

import os  
import cv2 as cv  
  
def face_detect_demo(image):  
    try:  
        global number  
        # 将图片转换为灰度图  
        gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)  
  
        # 加载特征数据  
        faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)  
        for x, y, w, h in faces:  
            # 获取置信度，大于80表示取值错误  
            _id, confidence = recognizer.predict(gray[y:y + h, x:x + w])  
            if confidence < 80:  
                cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  
    except Exception as e:  
        pass  
  
  
def check_face():  
    cap = cv.VideoCapture('人脸识别.mp4')  
    while cap.isOpened():  
        flag, frame = cap.read()  
        if not flag:  
            break  
        face_detect_demo(frame)  
        cv.imshow('img', frame)  
        cv.waitKey(2)  
  
    cv.destroyAllWindows()  
  
if __name__ == '__main__':  
    # 加载训练数据文件  
    recognizer = cv.face.LBPHFaceRecognizer_create()  
    recognizer.read('trains/trains.yml')  
  
    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
    check_face()  

总结

通过上面一步步的学习，你是不是对OpenCV人脸识别有个基本的认识了呢?但是我们也看到了，整个人脸识别的主要算法还是基于Haar，而且准确度并不是特别高，主要是会检测出很多非人脸的数据。LBPH是让我们给某个人脸进行标记，告诉我们他是谁，并没有提高实际的检测准确度。现在机器学习是非常火爆的，基于OpenCV的机器学习人脸识别也精确度也很高，下次我们在来对比几种机器学习人脸识别的库。感谢分享原文-bjbsair.com/2020-04-03/…

什么是人脸识别

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

目前的人脸识别技术已经非常成熟了，还发展成3D人脸识别。而且现在各大厂商也都提供了人脸识别的API接口供我们调用，可以说几行代码就可以完成人脸识别。但是人脸识别的根本还是基于图像处理。在Python中最强大的图像处理库就是OpenCV。

OpenCV简介

OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV基本使用

安装

pip install opencv-python  # 基础库  
pip install opencv-contrib-python  # 扩展库  
pip install opencv-python-headless  

读取图片

读取和显示图片是最基本的操作了，OpenCV当中使用imread和imshow实现该操作

import cv2 as cv  
  
# 读取图片，路径不能含有中文名，否则图片读取不出来  
image = cv.imread('1111.jpg')  
  
# 显示图片  
cv.imshow('image', image)  
  
# 等待键盘输入，单位是毫秒，0表示无限等待  
cv.waitKey(0)  
  
# 因为最终调用的是C++对象，所以使用完要释放内存  
cv.destroyAllWindows()  

将图片转为灰度图

OpenCV中数百中关于不同色彩控件之间转换的方法。目前最常用的有三种：灰度、BGR、HSV。

• 灰度色彩空间是通过去除彩色信息来讲图片转换成灰阶，灰度图会大量减少图像处理中的色彩处理，对人脸识别很有效。
• BGR每个像素都由一个三元数组来表示，分别代码蓝、绿、红三种颜色。python中还有一个库PIL，读取的图片通道是RGB，其实是一样的，只是颜色顺序不一样
• HSV，H是色调，S是饱和度，V是黑暗的程度
  将图片转换为灰度图

import cv2 as cv  
  
# 读取图片，路径不能含有中文名，否则图片读取不出来  
image = cv.imread('1111.jpg')  
  
# cv2读取图片的通道是BGR，  
# PIL读取图片的通道是RGB  
# code选择COLOR_BGR2GRAY，就是BGR to GRAY  
gray_image = cv.cvtColor(image, code=cv.COLOR_BGR2GRAY)  
  
# 显示图片  
cv.imshow('image', gray_image)  
  
# 等待键盘输入，单位是毫秒，0表示无限等待  
cv.waitKey(0)  
  
# 因为最终调用的是C++对象，所以使用完要释放内存  
cv.destroyAllWindows()  

绘制矩形

image = cv.imread('1111.jpg')  
  
x, y, w, h = 50, 50, 80, 80  
  
# 绘制矩形  
cv.rectangle(image, (x, y, x+w, y+h), color=(0, 255, 0), thickness=2)  
  
# 绘制圆形  
cv.circle(image, center=(x + w//2, y + h//2), radius=w//2, color=(0, 0, 255), thickness=2)  
  
cv.imshow('image', image)  
cv.waitKey(0)  
cv.destroyAllWindows()  

人脸检测

人脸检测实际上是对图像提取特征，Haar特征是一种用于实现实时人脸跟踪的特征。每个Haar特征都描述了相邻图像区域的对比模式。比如边、定点和细线都能生成具有判别性的特征。OpenCV给我们提供了Haar特征数据，在cv2/data目录下，使用特征数据的方法def detectMultiScale(self, image, scaleFactor=None, minNeighbors=None, flags=None, minSize=None, maxSize=None)

• scaleFactor: 指定每个图像比例缩小多少图像
• minNeighbors: 指定每个候选矩形必须保留多少个邻居，值越大说明精度要求越高
• minSize：检测到的最小矩形大小
• maxSize: 检测到的最大矩形大小

检测图片中人脸

import os  
import cv2 as cv  
  
def face_detect_demo(image):  
    # 将图片转换为灰度图  
    gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)  
  
    # 加载特征数据  
    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
    faces = face_detector.detectMultiScale(gray)  
    for x, y, w, h in faces:  
        cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  
  
# 读取图片，路径不能含有中文名，否则图片读取不出来  
image = cv.imread('2222.jpg')  
  
face_detect_demo(image)  
  
# 显示图片  
cv.imshow('image', image)  
  
# 等待键盘输入，单位是毫秒，0表示无限等待  
cv.waitKey(0)  
  
# 因为最终调用的是C++对象，所以使用完要释放内存  
cv.destroyAllWindows()  

采用默认参数，检测人脸数据不全，需要调整detectMultiScale函数的参数，调整为faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)

我们发现除了检测到人脸数据，还有一些其他的脏数据，这个时候可以打印检测出的人脸数据位置和大小

faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)  
for x, y, w, h in faces:  
    print(x, y, w, h) # 打印每一个检测到的数据位置和大小  
    cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  

从大小中我们看到最大的两个矩形，刚好是人脸数据，其余都是脏数据，那么继续修改函数参数faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3, minSize=(80, 80))

检测视频中人脸

视频就是一张一张的图片组成的，在视频的帧上面重复这个过程就能完成视频中的人脸检测了。视频读取OpenCV为我们提供了函数VideoCapture，参数可以是视频文件或者0（表示调用摄像头）

import cv2 as cv  
  
# 人脸检测  
def face_detect_demo(image):  
    try:  
        # 将图片转换为灰度图  
        gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)  
  
        # 加载特征数据  
        face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
        faces = face_detector.detectMultiScale(gray)  
        for x, y, w, h in faces:  
            print(x, y, w, h)  
            cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  
    except Exception as e:  
        pass  
  
cap = cv.VideoCapture('人脸识别.mp4')  
while cap.isOpened():  
    flag, frame = cap.read()  
  
    face_detect_demo(frame)  
    cv.imshow('result', frame)  
    if ord('q') == cv.waitKey(5):  
        break  
  
cap.realse()  
cv.destroyAllWindows()  

这个我们是做的人脸识别，怎么把爱好都识别了，这么先进吗？很显然这不太符合我们的要求，爱好只能藏在心里，你给我检测出来就不行了。所以我们必须要进行优化处理。OpenCV为我们提供了一个机器学习的小模块，我们可以训练它，让它只识别我们需要的部分，不要乱猜测。

训练数据

训练数据就是我们把一些图片交给训练模型，让模型熟悉她，这样它就能更加准确的识别相同的图片。训练的数据一般我们可以从网上搜索：人脸识别数据库，或者从视频中保存美帧的数据作为训练集。所有的人脸识别算法在他们的train()函数中都有两个参数：图像数组和标签数组。这些标签标示进行识别时候的人脸ID，根据ID可以知道被识别的人是谁。

获取训练集

从视频中每隔5帧截取一个图片，保存成图片

import cv2  
  
cap = cv2.VideoCapture('人脸识别.mp4')  
  
number = 100  
count = 1  
while cap.isOpened() and number > 0:  
    flag, frame = cap.read()  
    if not flag:  
        break  
  
    if count % 5 == 0:  
        # 按照视频图像中人脸的大体位置进行裁剪，只取人脸部分  
        img = frame[70:280, 520:730]  
        cv2.imwrite('data/{}.png'.format(number), img)  
        number -= 1  
    count += 1  
  
cap.release()  
cv2.destroyAllWindows()  

使用LBPH训练模型

def getImageAndLabels(path_list):  
    faces = []  
    ids = []  
    image_paths = [os.path.join(path_list, f) for f in os.listdir(path_list) if f.endswith('.png')]  
    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
    for image in image_paths:  
        img = cv.imread(image)  
        gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)  
        faces = face_detector.detectMultiScale(gray)  
        _id = int(os.path.split(image)[1].split('.')[0])  
        for x, y, w, h in faces:  
            faces.append(gray[y:y+h, x:x+w])  
            ids.append(_id)  
    return faces, ids  
  
faces, ids = getImageAndLabels('data')  
  
# 训练  
recognizer = cv.face.LBPHFaceRecognizer_create()  
recognizer.train(faces, np.array(ids))  
  
# 保存训练特征  
recognizer.write('trains/trains.yml')  

基于LBPH的人脸识别

LBPH将检测到的人脸分为小单元，并将其与模型中的对应单元进行比较，对每个区域的匹配值产生一个直方图。调整后的区域中调用predict函数，该函数返回两个元素的数组，第一个元素是所识别的个体标签，第二个元素是置信度评分。所有的算法都有一个置信度评分阈值，置信度评分用来衡量图像与模型中的差距，0表示完全匹配。LBPH有一个好的识别参考值要低于50。基本步骤为：

• cv.VideoCapture读取视频
• Haar算法检测人脸数据
• 基于LBPH训练集得到准确人脸数据，并输出标记此人是谁
• 按置信度取准确度高的人脸标记出来

import os  
import cv2 as cv  
  
def face_detect_demo(image):  
    try:  
        global number  
        # 将图片转换为灰度图  
        gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)  
  
        # 加载特征数据  
        faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)  
        for x, y, w, h in faces:  
            # 获取置信度，大于80表示取值错误  
            _id, confidence = recognizer.predict(gray[y:y + h, x:x + w])  
            if confidence < 80:  
                cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  
    except Exception as e:  
        pass  
  
  
def check_face():  
    cap = cv.VideoCapture('人脸识别.mp4')  
    while cap.isOpened():  
        flag, frame = cap.read()  
        if not flag:  
            break  
        face_detect_demo(frame)  
        cv.imshow('img', frame)  
        cv.waitKey(2)  
  
    cv.destroyAllWindows()  
  
if __name__ == '__main__':  
    # 加载训练数据文件  
    recognizer = cv.face.LBPHFaceRecognizer_create()  
    recognizer.read('trains/trains.yml')  
  
    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
    check_face()  

总结

通过上面一步步的学习，你是不是对OpenCV人脸识别有个基本的认识了呢?但是我们也看到了，整个人脸识别的主要算法还是基于Haar，而且准确度并不是特别高，主要是会检测出很多非人脸的数据。LBPH是让我们给某个人脸进行标记，告诉我们他是谁，并没有提高实际的检测准确度。现在机器学习是非常火爆的，基于OpenCV的机器学习人脸识别也精确度也很高，下次我们在来对比几种机器学习人脸识别的库。感谢分享原文-bjbsair.com/2020-04-03/…

什么是人脸识别

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

目前的人脸识别技术已经非常成熟了，还发展成3D人脸识别。而且现在各大厂商也都提供了人脸识别的API接口供我们调用，可以说几行代码就可以完成人脸识别。但是人脸识别的根本还是基于图像处理。在Python中最强大的图像处理库就是OpenCV。

OpenCV简介

OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV基本使用

安装

pip install opencv-python  # 基础库  
pip install opencv-contrib-python  # 扩展库  
pip install opencv-python-headless  

读取图片

读取和显示图片是最基本的操作了，OpenCV当中使用imread和imshow实现该操作

import cv2 as cv  
  
# 读取图片，路径不能含有中文名，否则图片读取不出来  
image = cv.imread('1111.jpg')  
  
# 显示图片  
cv.imshow('image', image)  
  
# 等待键盘输入，单位是毫秒，0表示无限等待  
cv.waitKey(0)  
  
# 因为最终调用的是C++对象，所以使用完要释放内存  
cv.destroyAllWindows()  

将图片转为灰度图

OpenCV中数百中关于不同色彩控件之间转换的方法。目前最常用的有三种：灰度、BGR、HSV。

• 灰度色彩空间是通过去除彩色信息来讲图片转换成灰阶，灰度图会大量减少图像处理中的色彩处理，对人脸识别很有效。
• BGR每个像素都由一个三元数组来表示，分别代码蓝、绿、红三种颜色。python中还有一个库PIL，读取的图片通道是RGB，其实是一样的，只是颜色顺序不一样
• HSV，H是色调，S是饱和度，V是黑暗的程度
  将图片转换为灰度图

import cv2 as cv  
  
# 读取图片，路径不能含有中文名，否则图片读取不出来  
image = cv.imread('1111.jpg')  
  
# cv2读取图片的通道是BGR，  
# PIL读取图片的通道是RGB  
# code选择COLOR_BGR2GRAY，就是BGR to GRAY  
gray_image = cv.cvtColor(image, code=cv.COLOR_BGR2GRAY)  
  
# 显示图片  
cv.imshow('image', gray_image)  
  
# 等待键盘输入，单位是毫秒，0表示无限等待  
cv.waitKey(0)  
  
# 因为最终调用的是C++对象，所以使用完要释放内存  
cv.destroyAllWindows()  

绘制矩形

image = cv.imread('1111.jpg')  
  
x, y, w, h = 50, 50, 80, 80  
  
# 绘制矩形  
cv.rectangle(image, (x, y, x+w, y+h), color=(0, 255, 0), thickness=2)  
  
# 绘制圆形  
cv.circle(image, center=(x + w//2, y + h//2), radius=w//2, color=(0, 0, 255), thickness=2)  
  
cv.imshow('image', image)  
cv.waitKey(0)  
cv.destroyAllWindows()  

人脸检测

人脸检测实际上是对图像提取特征，Haar特征是一种用于实现实时人脸跟踪的特征。每个Haar特征都描述了相邻图像区域的对比模式。比如边、定点和细线都能生成具有判别性的特征。OpenCV给我们提供了Haar特征数据，在cv2/data目录下，使用特征数据的方法def detectMultiScale(self, image, scaleFactor=None, minNeighbors=None, flags=None, minSize=None, maxSize=None)

• scaleFactor: 指定每个图像比例缩小多少图像
• minNeighbors: 指定每个候选矩形必须保留多少个邻居，值越大说明精度要求越高
• minSize：检测到的最小矩形大小
• maxSize: 检测到的最大矩形大小

检测图片中人脸

import os  
import cv2 as cv  
  
def face_detect_demo(image):  
    # 将图片转换为灰度图  
    gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)  
  
    # 加载特征数据  
    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
    faces = face_detector.detectMultiScale(gray)  
    for x, y, w, h in faces:  
        cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  
  
# 读取图片，路径不能含有中文名，否则图片读取不出来  
image = cv.imread('2222.jpg')  
  
face_detect_demo(image)  
  
# 显示图片  
cv.imshow('image', image)  
  
# 等待键盘输入，单位是毫秒，0表示无限等待  
cv.waitKey(0)  
  
# 因为最终调用的是C++对象，所以使用完要释放内存  
cv.destroyAllWindows()  

采用默认参数，检测人脸数据不全，需要调整detectMultiScale函数的参数，调整为faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)

我们发现除了检测到人脸数据，还有一些其他的脏数据，这个时候可以打印检测出的人脸数据位置和大小

faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)  
for x, y, w, h in faces:  
    print(x, y, w, h) # 打印每一个检测到的数据位置和大小  
    cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  

从大小中我们看到最大的两个矩形，刚好是人脸数据，其余都是脏数据，那么继续修改函数参数faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3, minSize=(80, 80))

检测视频中人脸

视频就是一张一张的图片组成的，在视频的帧上面重复这个过程就能完成视频中的人脸检测了。视频读取OpenCV为我们提供了函数VideoCapture，参数可以是视频文件或者0（表示调用摄像头）

import cv2 as cv  
  
# 人脸检测  
def face_detect_demo(image):  
    try:  
        # 将图片转换为灰度图  
        gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)  
  
        # 加载特征数据  
        face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
        faces = face_detector.detectMultiScale(gray)  
        for x, y, w, h in faces:  
            print(x, y, w, h)  
            cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  
    except Exception as e:  
        pass  
  
cap = cv.VideoCapture('人脸识别.mp4')  
while cap.isOpened():  
    flag, frame = cap.read()  
  
    face_detect_demo(frame)  
    cv.imshow('result', frame)  
    if ord('q') == cv.waitKey(5):  
        break  
  
cap.realse()  
cv.destroyAllWindows()  

这个我们是做的人脸识别，怎么把爱好都识别了，这么先进吗？很显然这不太符合我们的要求，爱好只能藏在心里，你给我检测出来就不行了。所以我们必须要进行优化处理。OpenCV为我们提供了一个机器学习的小模块，我们可以训练它，让它只识别我们需要的部分，不要乱猜测。

训练数据

训练数据就是我们把一些图片交给训练模型，让模型熟悉她，这样它就能更加准确的识别相同的图片。训练的数据一般我们可以从网上搜索：人脸识别数据库，或者从视频中保存美帧的数据作为训练集。所有的人脸识别算法在他们的train()函数中都有两个参数：图像数组和标签数组。这些标签标示进行识别时候的人脸ID，根据ID可以知道被识别的人是谁。

获取训练集

从视频中每隔5帧截取一个图片，保存成图片

import cv2  
  
cap = cv2.VideoCapture('人脸识别.mp4')  
  
number = 100  
count = 1  
while cap.isOpened() and number > 0:  
    flag, frame = cap.read()  
    if not flag:  
        break  
  
    if count % 5 == 0:  
        # 按照视频图像中人脸的大体位置进行裁剪，只取人脸部分  
        img = frame[70:280, 520:730]  
        cv2.imwrite('data/{}.png'.format(number), img)  
        number -= 1  
    count += 1  
  
cap.release()  
cv2.destroyAllWindows()  

使用LBPH训练模型

def getImageAndLabels(path_list):  
    faces = []  
    ids = []  
    image_paths = [os.path.join(path_list, f) for f in os.listdir(path_list) if f.endswith('.png')]  
    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
    for image in image_paths:  
        img = cv.imread(image)  
        gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)  
        faces = face_detector.detectMultiScale(gray)  
        _id = int(os.path.split(image)[1].split('.')[0])  
        for x, y, w, h in faces:  
            faces.append(gray[y:y+h, x:x+w])  
            ids.append(_id)  
    return faces, ids  
  
faces, ids = getImageAndLabels('data')  
  
# 训练  
recognizer = cv.face.LBPHFaceRecognizer_create()  
recognizer.train(faces, np.array(ids))  
  
# 保存训练特征  
recognizer.write('trains/trains.yml')  

基于LBPH的人脸识别

LBPH将检测到的人脸分为小单元，并将其与模型中的对应单元进行比较，对每个区域的匹配值产生一个直方图。调整后的区域中调用predict函数，该函数返回两个元素的数组，第一个元素是所识别的个体标签，第二个元素是置信度评分。所有的算法都有一个置信度评分阈值，置信度评分用来衡量图像与模型中的差距，0表示完全匹配。LBPH有一个好的识别参考值要低于50。基本步骤为：

• cv.VideoCapture读取视频
• Haar算法检测人脸数据
• 基于LBPH训练集得到准确人脸数据，并输出标记此人是谁
• 按置信度取准确度高的人脸标记出来

import os  
import cv2 as cv  
  
def face_detect_demo(image):  
    try:  
        global number  
        # 将图片转换为灰度图  
        gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)  
  
        # 加载特征数据  
        faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)  
        for x, y, w, h in faces:  
            # 获取置信度，大于80表示取值错误  
            _id, confidence = recognizer.predict(gray[y:y + h, x:x + w])  
            if confidence < 80:  
                cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)  
    except Exception as e:  
        pass  
  
  
def check_face():  
    cap = cv.VideoCapture('人脸识别.mp4')  
    while cap.isOpened():  
        flag, frame = cap.read()  
        if not flag:  
            break  
        face_detect_demo(frame)  
        cv.imshow('img', frame)  
        cv.waitKey(2)  
  
    cv.destroyAllWindows()  
  
if __name__ == '__main__':  
    # 加载训练数据文件  
    recognizer = cv.face.LBPHFaceRecognizer_create()  
    recognizer.read('trains/trains.yml')  
  
    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))  
    check_face()  

总结

通过上面一步步的学习，你是不是对OpenCV人脸识别有个基本的认识了呢?但是我们也看到了，整个人脸识别的主要算法还是基于Haar，而且准确度并不是特别高，主要是会检测出很多非人脸的数据。LBPH是让我们给某个人脸进行标记，告诉我们他是谁，并没有提高实际的检测准确度。现在机器学习是非常火爆的，基于OpenCV的机器学习人脸识别也精确度也很高，下次我们在来对比几种机器学习人脸识别的库。