基于opencv-python的身份证识别（KNN与OCR两种算法）-阿里云开发者社区

基于opencv-python的身份证识别（KNN与OCR两种算法）

2023-02-27 887

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

自定义KV模板，自定义KV模板 500次/账号

个人证照识别，个人证照识别 200次/月

通用文字识别，通用文字识别 200次/月

简介： 本文是学习opencv之初的一个阶段性小任务，主要做练习使用，并没有过多的追求准确率和高可用性，比如对输入身份证照片有要求，必须是完全的身份证照片，不能有背景，如需改进，可以通过增加轮廓检测和透视变换来裁剪出身份证照片；还有对身份证号区域的检测，采用的是先裁剪出一个固定大小的模板，进行模板匹配，当时学的比较浅，所以直接草率的这样做了，其实也可以通过轮廓检测排序，从而查找到身份证号区域。另外，利用KNN算法做识别，也是我当时刚接触KNN算法，一时兴起做的，这算是我初次做算法模型训练，然后进行检测，也是为后来学习的各种深度学习算法打基础。效果并不是很好，因为我训练用到的数据集就是

本文是学习opencv之初的一个阶段性小任务，主要做练习使用，并没有过多的追求准确率和高可用性，比如对输入身份证照片有要求，必须是完全的身份证照片，不能有背景，如需改进，可以通过增加轮廓检测和透视变换来裁剪出身份证照片；还有对身份证号区域的检测，采用的是先裁剪出一个固定大小的模板，进行模板匹配，当时学的比较浅，所以直接草率的这样做了，其实也可以通过轮廓检测排序，从而查找到身份证号区域。

另外，利用KNN算法做识别，也是我当时刚接触KNN算法，一时兴起做的，这算是我初次做算法模型训练，然后进行检测，也是为后来学习的各种深度学习算法打基础。效果并不是很好，因为我训练用到的数据集就是最后那一张图片（trainum.png），进行了少量的数据集增强。

KNN train训练程序（train.py）：

# -*-coding:utf-8-*-# @Author: Phantom# @编译环境：windows 10 + python3.8# @IDE：Pycharm2021.1.3importcv2.cv2ascvimportnumpyasnpdefKNN():
train=cv.imread("trainum.png", 0)
# 24*32trainimgs= [train]
# 腐蚀和膨胀，增强训练集foriinrange(1,3):
kernel=np.ones((i, i), np.uint8)
j=cv.erode(train, kernel)
trainimgs.append(j)
r=cv.dilate(train, kernel)
trainimgs.append(r)
# 生成knn对象knn=cv.ml.KNearest_create()
#训练knn模型fortrainimgintrainimgs:
cells= [np.hsplit(row, 30) forrowinnp.vsplit(trainimg, 11)]
x=np.array(cells)
# print(x[1][1])trn=x[:, :].reshape(-1,768).astype(np.float32)
k=np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10])
train_label=np.repeat(k,30)
knn.train(trn,cv.ml.ROW_SAMPLE,train_label)
cell= [np.hsplit(row, 30) forrowinnp.vsplit(train, 11)]
x=np.array(cell)
# print(x[1][1])train=x[:, :].reshape(-1, 768).astype(np.float32)
t=np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10])
train_label=np.repeat(t, 30)
returnknn,train,train_labeldefmain():
knn ,train,train_label=KNN()
test=train.copy()
test_label=train_label.copy()
ret, result, neighbours, dist=knn.findNearest(test, 3)
right=0foriinrange(330):
ifresult[i] ==test_label[i]:
right+=1# print(f'{len(test):}个测试数据识别正确{right:}个')#计算正确率ac=right/result.sizeprint(f'正确率{ac*100:.2f}%')
if__name__=='__main__':
main()
cv.waitKey(0)

KNN算法主程序：

# -*-coding:utf-8-*-# @Author: Phantom# @编译环境：windows 10 + python3.8# @IDE：Pycharm2021.1.3importcv2.cv2ascvimportnumpyasnpimporttrain# 读取图片和身份证号位置模板idimg=cv.imread("033.jpg")
idimg=cv.resize(idimg, (509, 321), interpolation=cv.INTER_CUBIC)
template=cv.imread("position1.jpg", 1)
cv.imshow("idimg", idimg)
# 转灰度图gray=cv.cvtColor(idimg, cv.COLOR_BGR2GRAY)
cv.imshow("gray", gray)
# 黑帽运算闭运算的卷积核kernel1=np.ones((15, 15), np.uint8)
# kernel2 = np.ones((1,1),np.uint8)# 黑帽运算cvblackhat=cv.morphologyEx(gray, cv.MORPH_BLACKHAT, kernel1)
cv.imshow("black", cvblackhat)
# 闭运算cvclose1=cv.morphologyEx(cvblackhat, cv.MORPH_CLOSE, kernel1)
cv.imshow("cvclose", cvclose1)
# 原图像二值化ref=cv.threshold(cvclose1, 0, 255, cv.THRESH_OTSU)[1]
# 身份证号码区域二值化twoimg=cv.threshold(cvblackhat, 0, 255, cv.THRESH_OTSU)[1]
cv.imshow("ref", ref)
# 为了模板匹配cv.imwrite("ref.jpg", ref)
ref=cv.imread("ref.jpg", 1)
# 获取模板高和宽h, w=template.shape[:2]
# 模板匹配（相关匹配）找身份证号码位置res=cv.matchTemplate(ref, template, cv.TM_CCORR)
# 获得最匹配地方的左上角坐标min_val, max_val, min_loc, max_loc=cv.minMaxLoc(res)
top_left=max_loc# 计算最匹配地方的右下角坐标bottom_right= (top_left[0] +w, top_left[1] +h)
# 框出身份证号区域并展示cv.rectangle(idimg, top_left, bottom_right, (0, 255, 0), 2)
cv.imshow("idimgOK", idimg)
# 展示身份证号码的二值图像rectangleid=cv.resize(twoimg[top_left[1]:bottom_right[1], top_left[0]:bottom_right[0]], (432, 32),
interpolation=cv.INTER_CUBIC)
# rectangleid = cv.erode(rectangleid,kernel2)cv.imshow("rectangleid", rectangleid)
# 划分获得每一个数字的图像cells= [np.hsplit(row, 18) forrowinnp.vsplit(rectangleid, 1)]
# 转换成np.array类型x=np.array(cells)
cv.imshow("cell9", x[0][9])
cv.imshow("cell10", x[0][10])
# 图像数据转换为特征矩阵test=x[:, :].reshape(-1, 768).astype(np.float32)
# 获得训练好的knn模型knn=train.KNN()
# 测试ret, result, neighbours, dist=knn.findNearest(test, 2)
# 输出预测结果result=np.uint8(result).reshape(-1, 18)[0]
id= ["0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "X"]
idstr=""foriinresult:
idstr+=id[i]
print(idstr)
cv.waitKey(0)

OCR算法主程序

# -*-coding:utf-8-*-# @Author: Phantom# @编译环境：windows 10 + python3.8# @IDE：Pycharm2021.1.3importcv2.cv2ascvimportnumpyasnpimportpytesseract# 读取图片和身份证号位置模板idimg=cv.imread("0033.jpg")
idimg=cv.resize(idimg, (509, 321), interpolation=cv.INTER_CUBIC)
idimgok=idimg.copy()
template=cv.imread("position1.jpg", 1)
cv.imshow("idimg", idimg)
# 转灰度图gray=cv.cvtColor(idimg, cv.COLOR_BGR2GRAY)
cv.imshow("gray", gray)
# 黑帽运算闭运算的卷积核kernel1=np.ones((15, 15), np.uint8)
# kernel2 = np.ones((1,1),np.uint8)# 黑帽运算cvblackhat=cv.morphologyEx(gray, cv.MORPH_BLACKHAT, kernel1)
cv.imshow("black", cvblackhat)
# 闭运算cvclose1=cv.morphologyEx(cvblackhat, cv.MORPH_CLOSE, kernel1)
cv.imshow("cvclose", cvclose1)
# 原图像二值化ref=cv.threshold(cvclose1, 0, 255, cv.THRESH_OTSU)[1]
# 身份证号码区域二值化twoimg=cv.threshold(cvblackhat, 0, 255, cv.THRESH_OTSU)[1]
cv.imshow("ref", ref)
# 为了模板匹配cv.imwrite("ref.jpg", ref)
ref=cv.imread("ref.jpg", 1)
# 获取模板高和宽h, w=template.shape[:2]
# 模板匹配（相关匹配）找身份证号码位置res=cv.matchTemplate(ref, template, cv.TM_CCORR)
# 获得最匹配地方的左上角坐标min_val, max_val, min_loc, max_loc=cv.minMaxLoc(res)
top_left=max_loc# 计算最匹配地方的右下角坐标bottom_right= (top_left[0] +w, top_left[1] +h)
# 框出身份证号区域并展示cv.rectangle(idimg, top_left, bottom_right, (0, 255, 0), 2)
cv.imshow("idimgOK", idimg)
# 展示身份证号码的二值图像rectangleid=cv.resize(idimgok[top_left[1] -2:bottom_right[1] +2, top_left[0] -2:bottom_right[0] +2], (436, 36),
interpolation=cv.INTER_CUBIC)
# rectangleid = cv.erode(rectangleid,kernel2)cv.imshow("rectangleid", rectangleid)
text=pytesseract.image_to_string(rectangleid)
print(text)
cv.waitKey(0)