对象检测是指检测出图像中的所有对象,并识别对象的类型。使用OpenCV中的深度学习预训练模型进行对象检测的基本步骤如下。
(1)从配置文件和预训练模型文件中加载模型。
(2)创建图像文件的块数据。
(3)将图像文件的块数据设置为模型的输入。
(4)执行预测。
(5)处理预测结果。
1.使用基于MobileNet_SSD和Caffe的预训练模型进行对象检测
MobileNet是安德鲁·霍华德(Andrew G. Howard)等人在其论文中提出的一种用于移动和嵌入式视觉应用的高效模型,它使用深度可分离卷积来构建轻型深度神经网络。
SSD(Single Shot MultiBox Detector)为单发多盒检测器,它是一种对象检测算法。MobileNet_SSD结合了MobileNet和SSD的特点。
下面的代码使用基于MobileNet_SSD和Caffe的预训练模型进行对象检测。
使用基于MobileNet_SSD和Caffe的预训练模型进行对象检测
……
import cv2
import numpy as np
from matplotlib import pyplot as plt
import matplotlib
from PIL import ImageFont, ImageDraw, Image
加载字体,以便显示汉字
fontpath = "STSONG.TTF"
font = ImageFont.truetype(fontpath,20) #载入字体,设置字号
font2 = {'family': 'STSONG', "size": 22}
matplotlib.rc('font', **font2) #设置plt字体
准备对象名称类别,设置为中文
object_names = ('背景', '飞机', '自行车', '鸟', '船', '瓶子', '公共汽车', '小汽车',
'猫', '椅子', '牛', '餐桌', '狗', '马','摩托车',
'人','盆栽', '羊', '沙发', '火车', '监视器')
mode = cv2.dnn.readNetFromCaffe("MobileNetSSD_deploy.txt", #从文件加载Caffe模型
"MobileNetSSD_Caffemodel.dat")
image = cv2.imread("objects.jpg") #打开用于对象检测的图像
blob = cv2.dnn.blobFromImage(image, 0.007843, (224,224), #创建图像的块数据
(120, 120, 127))
mode.setInput(blob) #将块数据设置为模型输入
result = mode.forward() #执行预测
ptime, x = mode.getPerfProfile() #获得完成预测时间
title='完成预测时间: %.2f ms' % (ptime * 1000.0 / cv2.getTickFrequency())
for i in range(result.shape[2]): #处理检测结果
confidence = result[0, 0, i, 2] #获得可信度
if confidence > 0.3: #输出可信度大于30%的检测结果
a,id,a,x1,y1,x2,y2=result[0, 0, i]
name_id = int(id) #获得类别名称id
blob_size=280
heightScale = image.shape[0] / blob_size#计算原图像和图像块的高度比例
widthScale = image.shape[1] / blob_size#计算原图像和图像块的宽度比例
#计算检测出的对象的左下角和右上角坐标
x1 = int(x1 * blob_size * widthScale)
y1 = int(y1 * blob_size * heightScale)
x2 = int(x2 * blob_size * widthScale)
y2 = int(y2 * blob_size * heightScale)
cv2.rectangle(image,(x1,y1),(x2,y2),(0,255,0),2)#绘制标识对象的绿色矩形
#在图像中输出对象名称和可信度
if name_id in range(len(object_names)):
text = object_names[name_id] + "\n{:.1%}".format(confidence)
img_pil = Image.fromarray(image)
draw = ImageDraw.Draw(img_pil)
draw.text((x1+5,y1), text, font = font,fill=(255,0,0)) #绘制文字
image = np.array(img_pil)
img = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)
plt.title(title)
plt.imshow(img)
plt.axis('off')
plt.show()