前言
目前，人脸识别技术在我们日常生活应用十分广泛，几乎随处都能会接触到，比如手机的人脸识别解锁、人脸支付、门禁闸机的人脸识别出入等等。但随之而来也会遇到一定的问题，如：人脸识别只能检测目标人脸是否和预留人脸数据特征是否一致，却不能检测是否是真的活人。因此各种欺骗手段也开始露出水面，如何判断被检测对象是否是真的活人，而不是照片、视频甚至是人皮面具，是一个亟待解决的问题，此时，活体检测走上了时代的舞台。
活体检测的主要目的就是判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击（如：彩色纸张打印人脸图，电子设备屏幕中的人脸数字图像 以及 面具 等）。
常见的活体检测主要有以下3种方式：
【1】配合式检测
活体检测认证过程中，系统要求用户配合完成指定的的工作，比如眨眼、抬头、张嘴等动作，检测目标是否为真实的活题。
【2】rgb检测
此类检测方式，适用于阻挡用图片或者视频截图来欺骗人脸识别的攻击行为，通过识别图片上的细微特征来识别是否是真实活体，此类检测方式可分为在线和离线两种版本。
【3】3D结构光检测
活体检测过程中，通过3D结构光的三维成像原理，构成人脸三维特征的比对，判别检测目标是否为真实的活体，以阻挡图片、视频截图、面具的欺骗。
其中配合式的活体检测方式在生活中也十分常见。本文主要就是采用检测人脸的张嘴、眨眼、点头及 摇头这四个动作来进行人脸活体检测。
博主基于dlib库通过人脸关键点的距离变化，开发了一款简易的人脸面部活体检测系统，可以通过视频、摄像头2种方式进行人脸面部活体检测，并且展示识别结果。可以识别眨眼、张嘴、点头、摇头这4种常见表情动作，感兴趣的小伙伴可以自己试试。
觉得不错的小伙伴，感谢点赞、关注加收藏！如果大家有任何建议或意见，欢迎在评论区留言交流！
软件界面如下图： 
一、软件核心功能介绍及效果演示
软件主要功能包括以下几个部分：
1. 可对视频或者摄像头中的人脸进行眨眼、张嘴、点头、摇头动作检测；
2. 可以统计眨眼、张嘴、点头、摇头每个动作的次数；
3. 可单独进行眨眼、张嘴、点头、摇头的测试检测，如果检测成功，会显示测试通过字样；
4. 可以通过显示面部轮廓线复选框，来选择是否进行人脸轮廓显示，默认是显示的。
（1）视频检测演示
点击打开视频按钮，选择需要检测的视频即可，操作演示如下：
（2）面部动作次数统计
该系统会自动统计眨眼、张嘴、点头、摇头每个动作的次数，点击充值按钮，会将统计次数重置为0。
演示如下：
（3）单个动作测试功能
通过点击单选按钮眨眼测试、张嘴测试,摇头测试,点头测试来分别检测每个动作，如果检测到了相应动作，则会显示对应动作测试通过字样。操作演示如下：
二、人脸面部活体检测的基本原理
1.基本原理
本人脸面部活体检测系统主要是基于人脸关键点检测之后，关键点之间的距离变化来进行的。
首先使用dlib库的shape_predictor_68_face_landmarks模型，检测人脸的68个关键点，关键点如下所示：
人脸各个部位点分布如下：
脸颊线[1,17]
左眼眉毛[18,22]
右眼眉毛[23,27]
鼻梁[28,31]
鼻子[32,36]
左眼[37,42]
右眼[43,48]
上嘴唇外边缘[49,55]
上嘴唇内边缘[66,68]
下嘴唇外边缘[56,60]
下嘴唇内边缘[61,65]
2.眨眼检测
基本原理：基于眼睛长宽比EAR( Eye Aspect Ratio)的变化来判断人眼是否有眨眼动作。当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零。所以我们可以认为当EAR低于某个阈值时，眼睛处于闭合状态。为检测眨眼次数，需要设置同一次眨眼的连续帧数。眨眼速度比较快，一般1~3帧就完成了眨眼动作。两个阈值都要根据实际情况设置。
**判断标准：**我们分别计算左右两只眼睛的纵横比并取平均值，作为眨眼的指标，经过多次测试后，选取0.3作为阈值。在连续检测到两真EAR小于阈值，即眼睛一睁一闭时，我们将记录为一次眨眼。
注:阈值可能由于摄像头远近或人脸形状等因素的影响，可能需要根据实际情况进行微调。
眼睛长宽比EAR距离计算代码如下：
def EAR(eye): # 默认二范数：求特征值，然后求最大特征值得算术平方根 A = np.linalg.norm(eye[1] - eye[5]) B = np.linalg.norm(eye[2] - eye[4]) C = np.linalg.norm(eye[0] - eye[3]) return (A + B) / (2.0 * C)
眨眼判断核心代码如下：
# 提取左眼和右眼坐标，然后使用该坐标计算两只眼睛的眼睛纵横比 leftEye = shape[lStart:lEnd] rightEye = shape[rStart:rEnd] ear = EAR(leftEye) + EAR(rightEye) / 2.0 # 判断眼睛纵横比是否低于眨眼阈值 if ear < EAR_THRESH: count_eye += 1 else: # 检测到一次闭眼 if count_eye >= EYE_close: total += 1 count_eye = 0
3.张嘴检测
基本原理： 类似眨眼检测类似，计算嘴巴的长宽比MAR（Mouth Aspect Ratio）,当MAR大于设定的阈值时，认为张开了嘴巴。
嘴巴长宽比MAR距离计算代码如下：
def MAR(mouth): # 默认二范数：求特征值，然后求最大特征值得算术平方根 A = np.linalg.norm(mouth[2] - mouth[10]) # 51, 59（人脸68个关键点） B = np.linalg.norm(mouth[4] - mouth[8]) # 53, 57 C = np.linalg.norm(mouth[0] - mouth[6]) # 49, 55 return (A + B) / (2.0 * C)
张嘴判断核心代码如下：
Mouth = shape[mStart:mEnd] mar = MAR(Mouth) # 判断嘴唇纵横比是否高于张嘴阈值，如果是，则增加张嘴帧计数器 if mar > MAR_THRESH: COUNTER_MOUTH += 1 else: # 如果张嘴帧计数器不等于0，则增加张嘴的总次数 if COUNTER_MOUTH >= 2: TOTAL_MOUTH += 1 COUNTER_MOUTH = 0
4.摇头与点头检测
同理对于摇头与点头，我们只需计算左右两侧脸颊宽度变化，以及鼻子到下巴的距离，即可判断是点头与摇头动作。
摇头判断核心代码如下：
# 左脸大于右脸 if face_left1 >= face_right1 + Config.FACE_DIFF and face_left2 >= face_right2 + Config.FACE_DIFF: distance_left += 1 # 右脸大于左脸 if face_right1 >= face_left1 + Config.FACE_DIFF and face_right2 >= face_left2 + Config.FACE_DIFF: distance_right += 1 # 左脸大于右脸，并且右脸大于左脸，判定摇头 if distance_left != 0 and distance_right != 0: TOTAL_FACE += 1 distance_right = 0 distance_left = 0
以上便是关于人脸面部活体检测的基本原理介绍与代码介绍。针对以上内容，博主基于python与Pyqt5开发了一个可视化的人脸面部活体检测系统软件，能够更加直观的看到人脸各个动作的检测情况。即第二部分软件演示部分，该系统能够很好的对视频或者摄像头中的人脸进行眨眼、张嘴、点头、摇头动作检测。
