搭建多场景人脸口罩检测系统-基于阿里云视觉智能平台
最后一次的课了，就不辣么水了。这次的试验目的是将用户上传的图片（例如在公共场合的监控照片）进行识别，返回当前图片中的人数、（人）活体的可信度、佩戴口罩的人数以及其占比、未佩戴口罩的人物坐标。可以设置适当的阀值，当达到一定阀值（占比）时进行警告或者通知等处理。
第一步，阿里云控制台获取accesskey
不管你调用任何的能力，基本都需要获取accesskey。
第二步，去阿里云视觉开放平台查看接口文档
- 这次试验一共使用了阿里云视觉开放平台的两个能力，分别是：
人脸检测定位：返回图片中人脸数量，人脸坐标；
使用OpenCV切割人脸（无阿里云相关接口，所以通过本地实现）：通过人脸坐标进行裁剪图片，以便下一步检测口罩；
人脸口罩识别：识别输入图片中的人脸是否有戴口罩。
- 预计效果：
输出图片中的人脸数以及可信度，输出未戴口罩的人数以及可信度，未戴口罩的人数达到一定占比对用户进行通知。
第三步，编写代码（高级CV工程师又上线了）
1.导入需要使用的模块，以及阿里云视觉相关的模块
import os
import json
import time
from urllib import request
import numpy as np
import cv2
from viapi.fileutils import FileUtils
from aliyunsdkcore.client import AcsClient
from aliyunsdkcore.acs_exception.exceptions import ClientException
from aliyunsdkcore.acs_exception.exceptions import ServerException
from aliyunsdkfacebody.request.v20191230.DetectFaceRequest import DetectFaceRequest
from aliyunsdkfacebody.request.v20191230.DetectMaskRequest import DetectMaskRequest2.出于安全以及模块化的考虑，将阿里云的AccessKey和AccessSecret写入配置文件，需要的时候通过函数调用，代码如下。
#获取accesskeyId和AccessSecret
def get_access():
with open(r'accesskey.conf', 'r') as f:
KeyId, Secret = f.read().split() #split切割
return KeyId, Secret3.由于将图片交由阿里云视觉平台处理需要使用阿里云OSS，在阿里云OSS的文档中有关于各大编程语言的上传下载等操作的sdk，但是出于懒惰的考虑，我决定使用阿里云视觉平台提供的临时OSS，默认region就是上海的，而上传图片只需要几行代码就搞定了，简直完美；由于在调用的时候需要区分是上传的是本地文件还是图片URL，所以我多加了一个参数‘bool’，用于方便上传本地或者网络的图片，具体代码如下。
# 上传图片到临时OSS
def uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, bool):
file_utils = FileUtils(accessKeyId, accessSecret)
oss_url = file_utils.get_oss_url(uploadUrl,"jpg",bool)
return (oss_url)
# oss_url = file_utils.get_oss_url("/home/xxx.mp4","mp4",True)
# print(oss_url)4.准备就绪，编写代码调用阿里云视觉平台的人脸检测定位能力，对通过上传到临时OSS的图片进行处理，并格式化返回的结果，因为我们不需要一些无用的返回结果，只需要返回FaceProbabilityList以及Credibility和FaceCoordinate，对于人脸坐标，其实后面还有的用处，返回json数据以及Face_Number，具体代码如下。
#人脸检测并返回人脸数量、可信度、人脸坐标
def Face_Number_Check(accessKeyId, accessSecret, oss_url):
client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
request_Face_Number = DetectFaceRequest()
request_Face_Number.set_accept_format('json')
request_Face_Number.set_ImageURL(oss_url)
response_Face_Number = client.do_action_with_exception(request_Face_Number)
response_Face_Number = str(response_Face_Number, encoding='utf-8')
res_Face_Data_List = json.loads(response_Face_Number)
Face_Number = len(res_Face_Data_List['Data']['FaceProbabilityList'])
Face_Credibility = res_Face_Data_List['Data']['FaceProbabilityList']
#返回人脸矩形框，分别是[left, top, width, height]
face_Coordinate = list_split(res_Face_Data_List['Data']['FaceRectangles'],4)
C_C_json = {'Coordinate':[], 'Credibility':[]}
# class1_value.append ('检测到图像中的人脸数共有 %d 个' %Face_Number)
for i in range(Face_Number):
C_C_json['Coordinate'].append (face_Coordinate[i])
C_C_json['Credibility'].append ('%.2f%%' %(Face_Credibility[i]*100))
# print (face_Coordinate[i])
return C_C_json, Face_Number5.由于上方拿到了图片中所有的FaceCoordinate，我们在格式化之前对列表进行分割，以便后续定位切割方便使用，代码如下。
#定义一个数组分割函数，对应一张人脸四个坐标
def list_split(items, n):
return [items[i:i+n] for i in range(0, len(items), n)]6.接下来就要通过本地的处理将图片中的人脸切割出来，我使用的是cv2进行处理的，所以上方格式化的Coordinate就有了用处，切割出来之后临时存入本地即刻上传临时OSS，并在完成后删除切割的图片，将上传好的人脸图片链接写入list，最后返回一个OSS_IMG_List，方便需要的时候使用。代码如下。
#图像人脸分割
def Face_Mask_Recognition(oss_url,ccjson):
oss_url_list = []
for i in range(len(ccjson['Coordinate'])):
x0 = ccjson['Coordinate'][i][0]
y0 = ccjson['Coordinate'][i][1]
x1 = ccjson['Coordinate'][i][2] + x0
y1 = ccjson['Coordinate'][i][3] + y0
resp = request.urlopen(oss_url)
image = np.asarray(bytearray(resp.read()), dtype="uint8")
image = cv2.imdecode(image, cv2.IMREAD_COLOR)
cropped = image[y0:y1, x0:x1]
path = "./images/" + str(i) + ".jpg"
print ('一共%d张人脸图片，正在分割第%d张图片...' %(len(ccjson['Coordinate']), i+1))
cv2.imwrite(path, cropped)
#上传至region为上海的临时OSS并返回链接
uploadPath = path
oss_url_list.append (uploadImage_2_oss(accessKeyId, accessSecret, uploadPath, True))
#上传完毕删除文件
os.remove(path)
print ('分割完毕，准备进行口罩佩戴识别...')
print ('-'*80+'\n')
return oss_url_list7.有了图片中的人脸图片的OSS链接之后，通过调用阿里云视觉平台的人脸口罩识别能力，对切割好的人脸进行处理识别，对处理的结果进行简单的处理之后，便可以格式化输出了。代码如下。
#人脸口罩识别
def Mask_Detection(accessKeyId, accessSecret, oss_url_list):
client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
request_Mask = DetectMaskRequest()
request_Mask.set_accept_format('json')
res_Mask_List = []
for i in range(len(oss_url_list)):
print ('正在识别图像中第%d个人脸口罩佩戴情况...' %(i+1))
request_Mask.set_ImageURL(oss_url_list[i])
response_Mask = client.do_action_with_exception(request_Mask)
response_Mask = str(response_Mask, encoding='utf-8')
res_Mask = json.loads(response_Mask)['Data']['Mask']
res_Mask_List.append (res_Mask)
time.sleep(0.5)
print ('识别完毕，准备格式化输出结果...')
print ('-'*80+'\n')
return res_Mask_List8.由于对于口罩识别的API返回的数据并不是我们想要的，没有戴口罩返回1，戴了返回2，通过简单的转换之后，就可以显示成百分百了，不过只有100%和0%，不过我不尴尬，尴尬的是阿里云，谁叫它只返回1或者2，即戴了或者没戴，代码如下。
#转换口罩识别结果
def numlist2str(islist):
for x in range(len(islist)):
if islist[x] == 1:
islist[x] = '0%'
else:
islist[x] = '100%'
return islist9.口说无凭，你说图片有几个人脸就几个人脸吗？你说戴了口罩就戴了口罩？为了更直观的表达，还是把原图读取出来，并对人脸进行圈圈，就是画个框框，（本来想要做成戴了口罩的用绿框框，没戴的用红框框，但是由于我比较懒，加上没有时间，以及代码写的太乱了，就不搞了，有兴趣的小伙伴可以搞一下，不难的）
#读取检测的图片，并通过cv2对人脸进行标记，最后显示出来
def showimg():
#显示检测的图片
resp = request.urlopen(oss_url)
image = np.asarray(bytearray(resp.read()), dtype="uint8")
image = cv2.imdecode(image, cv2.IMREAD_COLOR)
# 输入参数分别为图像、左上角坐标、右下角坐标、颜色数组、粗细
for x in range(len(ccjson['Coordinate'])):
x0 = ccjson['Coordinate'][x][0]
y0 = ccjson['Coordinate'][x][1]
x1 = ccjson['Coordinate'][x][2] + x0
y1 = ccjson['Coordinate'][x][3] + y0
cv2.rectangle(image, (x0,y0), (x1,y1), (0,0,255), 2)
cv2.namedWindow("image" , cv2.WINDOW_NORMAL)
cv2.imshow('image', image)
cv2.waitKey(0)10.好了，到最后一步了，写个入口，调用下把子函数，输出下需要的数据就好了。代码如下。
if '__main__' == __name__:
uploadUrl = input('输入需要检测人脸的图片链接（路径）后回车：\n')
accessKeyId, accessSecret = get_access()
oss_url = uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, False)
#分割符
print ('-'*80+'\n')
#人脸数量及坐标的结果
ccjson, Face_Number = Face_Number_Check(accessKeyId, accessSecret, oss_url)
# print (len(ccjson['Coordinate']))
#分割图片中的人脸并返回分割好的图片链接
oss_url_list = Face_Mask_Recognition(oss_url,ccjson)
#识别人脸是否佩戴口罩结果
result_Mask = Mask_Detection(accessKeyId, accessSecret, oss_url_list)
result_Mask = numlist2str(result_Mask)
for x in range(len(ccjson['Coordinate'])):
print ('检测到第%d张人脸坐标为%s\t人脸概率为%s\t佩戴口罩概率为%s' %(x+1, ccjson['Coordinate'][x], ccjson['Credibility'][x], result_Mask[x]))
#标记图片中人脸
showimg()
11.经过简单的图片处理和视觉平台能力的整合，我们来试验一下效果。
首先来一张本地图片
接着我们进行试验，动图如下。
再来一张网络图片
再来一次看看效果。
第四步，查看返回结果
大概长这样
结语
至此，就结束了，由于本人学艺不精，算是一个不入门级的选手，如果小伙伴们对此有更好的方法或者思路，欢迎一起讨论。最后的话，我，希望有机会能再参加阿里云的活动！
