OpenCV加载深度学习框架与模型

简介: OpenCV加载深度学习框架与模型

1.DNN模块


OPenCV自3.3版本开始,加入了对深度学习网络的支持,即DNN模块,它支持主流的深度学习框架生成与到处模型的加载。


模块简介


OpenCV的深度学习模块DNN,只提供预测的功能,不能使用DNN进行模型训练,但是它支持多种深度学习框架,比如说TensorFlow,Caffe,Torch和Darknet。


DNN的优点:


轻量级:DNN只实现模型预测,推理的功能,代码量和编译运行开销时间小于其他深度学习模型框架

使用方便:无需其他依赖第三方库,只需要下载好对应不同深度学习框架下已经训练好的模型,或者是模型的配置文件,模型参数

通用性:DNN支持网络结构涵盖多种计算机视觉应用,目标分类,目标检测和图像分割的类别


2.DNN模块常用函数方法


与常见的计算机视觉应用一样,再将数据加入到模型之前,需要对数据进行tranform


2.1 cv2.dnn.blobFromImage


blobFromImage(image, 
              scalefactor=None, 
              size=None, 
              mean=None, 
              swapRB=None, 
              crop=None, 
              ddepth=None):


  • image:cv2.imread 读取的图片数据
  • scalefactor:缩放像素值,如 [0, 255] - [0, 1]
  • size:输出blob(图像)的尺寸,如 (netInWidth, netInHeight)
  • mean:从各通道减均值. 如果输入 image 为 BGR 次序,且swapRB=True,则通道次序为 (mean-R, mean-G, mean-B).
  • swapRB:交换 3 通道图片的第一个和最后一个通道,如 BGR - RGB
  • crop:图像尺寸 resize 后是否裁剪. 如果crop=True,则,输入图片的尺寸调整resize后,一个边对应与 size 的一个维度,而另一个边的值大于等于 size 的另一个维度;然后从 resize 后的图片中心进行 crop. 如果crop=False,则无需 crop,只需保持图片的长宽比
  • ddepth:输出 blob 的 Depth. 可选: CV_32F 或 CV_8U


import cv2
from cv2 import dnn
import numpy as np 
import matplotlib.pyplot as plt
img = cv2.imread("data/8.jpg")
img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
inWidth = 256
inHeight = 256
outimg1 = cv2.dnn.blobFromImage(img,
                                scalefactor=1.0 / 255,
                                size=(inWidth, inHeight),
                                mean=(0, 0, 0),
                                swapRB=False,
                                crop=False)
outimg1 = np.transpose(outimg1[0], (1, 2, 0))
outimg2 = cv2.dnn.blobFromImage(img,
                                scalefactor=1.0 / 255,
                                size=(inWidth, inHeight),
                                mean=(0, 0, 0),
                                swapRB=False,
                                crop=True)
outimg2 = np.transpose(outimg2[0], (1, 2, 0))
imgs= [img,outimg1,outimg2]
fig=plt.figure(figsize=[10, 10])
titles = ['origin','nocrop','crop']
for i in range(3):
    ax=fig.add_subplot(1,3,i+1)
    ax.axis("off")
    plt.title(titles[i])
    ax.imshow(imgs[i])


2.3 cv2.dnn.NMSBoxes


根据给定的检测boxes和对应的scores进行NMS(非极大值抑制)处理。


NMS原理:我们在做目标检测类似应用时,目标检测算法会给图片上所有物体产生很多的候选框,但这些候选框可能有些会互相重叠,NMS作用就是只保留最优的框。我们目标检测每个框都会有一个置信度分数S。


NMS流程步骤


将所有候选框看成一个集合A,再创建一个存放最优框的集合B,初始化为空集

对集合A,进行框排序,选出置信度分数最高的框m,将m加入到集合B中

遍历剩下集合A,分别与框m计算交并比,如果高于某一个阈值(我们需要设定一个阈值),则认为此框与m重叠,将此框从集合A中去除

重复第2,3步,直到集合A为空,集合B中的框就是我们所需的


b0edf79c244544d9b2965e0aed225e01.png

NMSBoxes(bboxes, 
         scores, 
         score_threshold, 
         nms_threshold, 
         eta=None, 
         top_k=None)


  • boxes:待处理的边界框 bounding boxes
  • scores:对于于待处理边界框的 scores
  • score_threshold:用于过滤 boxes 的 score 阈值
  • nms_threshold:NMS 用到的阈值
  • indices:NMS 处理后所保留的边界框的索引值
  • eta:自适应阈值公式中的相关系数:
  • top_k:如果 top_k>0,则保留最多 top_k 个边界框索引值


2.4 cv2.dnn.readNet


作用:加载深度学习网络及其模型参数

原型:


readNet(model, config=None, framework=None)
• 1

参数:

model:训练的权重参数的模型二值文件,支持的格式有:caffemodel(Caffe)、pb(TensorFlow)、t7 或net(Torch)、weights(Darknet)、bin(DLDT)

config:包含网络配置的文本文件,支持的格式有:.prototxt (Caffe)、pbtxt (TensorFlow)、cfg(Darknet)、.xml (DLDT).

framework: 所支持格式的框架名 该函数自动检测训练模型所采用的深度框架,然后调用readNetFromCaffe、readNetFromTensorflow、readNetFromTorch 或readNetFromDarknet 中的某个函数完成深度学习网络模型及模型参数的加载。

对应于特定框架的API:


2.4.1 cv2.dnn.readNetFromCaffe


readNetFromCaffe(prototxt, caffeModel=None)
• 1


作用:加载采用Caffe的配置网络和训练的权重参数


2.4.2 cv2.dnn.readNetFromDarknet


readNetFromDarknet(cfgFile, darknetModel=None)
• 1


作用:加载采用Darknet的配置网络和训练的权重参数


2.4.3 cv2.dnn.readNetFromTensorflow


readNetFromTensorflow(model, config=None)
• 1


作用:加载采用Tensorflow 的配置网络和训练的权重参数


参数:

  • model: .pb 文件
  • config: .pbtxt 文件

2.4.4 cv2.dnn.readNetFromTorch


作用:加载采用 Torch 的配置网络和训练的权重参数

参数:model: 采用 torch.save()函数保存的文件


3.OpenCV使用预训练模型做应用


步骤:

  1. 加载模型
  2. 图像预处理
  3. 模型推理

3.1 加载模型


目前主流的框架为pytorch

92cc8b7e8d0b422d973018d15201ec09.png


这里就只详细说明一下,加载pytorch和Darknet所用的配置文件吧


3.1.1 pytorch


在pytorch中有三种保存模型方式:


经常会看到后缀名为.pt, .pth, .pkl的pytorch模型文件,其实它们并不是在格式上有区别,只是后缀不同而已(仅此而已),在用torch.save()函数保存模型文件时,各人有不同的喜好,有些人喜欢用.pt后缀,有些人喜欢用.pth或.pkl.用相同的torch.save()语句保存出来的模型文件没有什么不同。


注意模型文件的格式


#1
torch.save(model,'model.pt')
#2
torch.save(model.state_dict(),'model.pt')


在cv2.dnn.readNetFromTorch,我们加载的是后者,即模型的参数。


3.1.2 Darknet


darknet框架是针对yolo模型的,以yolov3做coco目标检测模型为例。

Darknet模型有这样几个文件:


  • yolov3.weights
  • yolov3.cfg
  • coco.names

DNN加载模型

model = cv2.dnn.readNetFromDarknet('yolov3.cfg','yolov3.weights')
• 1


3.1.3 python代码


# detect.py
import cv2
import numpy as np
import os
import time
def yolo_detect(pathIn='',
                pathOut=None,
                label_path='./cfg/coco.names',
                config_path='./cfg/yolov3.cfg',
                weights_path='./cfg/yolov3.weights',
                confidence_thre=0.5,
                nms_thre=0.3,
                jpg_quality=80):
    '''
    pathIn:原始图片的路径
    pathOut:结果图片的路径
    label_path:类别标签文件的路径
    config_path:模型配置文件的路径
    weights_path:模型权重文件的路径
    confidence_thre:0-1,置信度(概率/打分)阈值,即保留概率大于这个值的边界框,默认为0.5
    nms_thre:非极大值抑制的阈值,默认为0.3
    jpg_quality:设定输出图片的质量,范围为0到100,默认为80,越大质量越好
    '''
    # 加载类别标签文件
    LABELS = open(label_path).read().strip().split("\n")
    nclass = len(LABELS)
    # 为每个类别的边界框随机匹配相应颜色
    np.random.seed(42)
    COLORS = np.random.randint(0, 255, size=(nclass, 3), dtype='uint8')
    # 载入图片并获取其维度
    base_path = os.path.basename(pathIn)
    img = cv2.imread(pathIn)
    (H, W) = img.shape[:2]
    # 加载模型配置和权重文件
    print('从硬盘加载YOLO......')
    net = cv2.dnn.readNetFromDarknet(config_path, weights_path)
    # 获取YOLO输出层的名字
    ln = net.getLayerNames()
    ln = [ln[i[0] - 1] for i in net.getUnconnectedOutLayers()]
    # 将图片构建成一个blob,设置图片尺寸,然后执行一次
    # YOLO前馈网络计算,最终获取边界框和相应概率
    blob = cv2.dnn.blobFromImage(img, 1 / 255.0, (416, 416), swapRB=True, crop=False)
    net.setInput(blob)
    start = time.time()
    layerOutputs = net.forward(ln)
    end = time.time()
    # 显示预测所花费时间
    print('YOLO模型花费 {:.2f} 秒来预测一张图片'.format(end - start))
    # 初始化边界框,置信度(概率)以及类别
    boxes = []
    confidences = []
    classIDs = []
    # 迭代每个输出层,总共三个
    for output in layerOutputs:
        # 迭代每个检测
        for detection in output:
            # 提取类别ID和置信度
            scores = detection[5:]
            classID = np.argmax(scores)
            confidence = scores[classID]
            # 只保留置信度大于某值的边界框
            if confidence > confidence_thre:
                # 将边界框的坐标还原至与原图片相匹配,记住YOLO返回的是
                # 边界框的中心坐标以及边界框的宽度和高度
                box = detection[0:4] * np.array([W, H, W, H])
                (centerX, centerY, width, height) = box.astype("int")
                # 计算边界框的左上角位置
                x = int(centerX - (width / 2))
                y = int(centerY - (height / 2))
                # 更新边界框,置信度(概率)以及类别
                boxes.append([x, y, int(width), int(height)])
                confidences.append(float(confidence))
                classIDs.append(classID)
    # 使用非极大值抑制方法抑制弱、重叠边界框
    idxs = cv2.dnn.NMSBoxes(boxes, confidences, confidence_thre, nms_thre)
    # 确保至少一个边界框
    if len(idxs) > 0:
        # 迭代每个边界框
        for i in idxs.flatten():
            # 提取边界框的坐标
            (x, y) = (boxes[i][0], boxes[i][1])
            (w, h) = (boxes[i][2], boxes[i][3])
            # 绘制边界框以及在左上角添加类别标签和置信度
            color = [int(c) for c in COLORS[classIDs[i]]]
            cv2.rectangle(img, (x, y), (x + w, y + h), color, 2)
            text = '{}: {:.3f}'.format(LABELS[classIDs[i]], confidences[i])
            (text_w, text_h), baseline = cv2.getTextSize(text, cv2.FONT_HERSHEY_SIMPLEX, 0.5, 2)
            cv2.rectangle(img, (x, y - text_h - baseline), (x + text_w, y), color, -1)
            cv2.putText(img, text, (x, y - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0), 2)
    # 输出结果图片
    if pathOut is None:
        cv2.imwrite('with_box_' + base_path, img, [int(cv2.IMWRITE_JPEG_QUALITY), jpg_quality])
    else:
        cv2.imwrite(pathOut, img, [int(cv2.IMWRITE_JPEG_QUALITY), jpg_quality])
相关文章
|
10天前
|
机器学习/深度学习 TensorFlow API
TensorFlow与Keras实战:构建深度学习模型
本文探讨了TensorFlow和其高级API Keras在深度学习中的应用。TensorFlow是Google开发的高性能开源框架,支持分布式计算,而Keras以其用户友好和模块化设计简化了神经网络构建。通过一个手写数字识别的实战案例,展示了如何使用Keras加载MNIST数据集、构建CNN模型、训练及评估模型,并进行预测。案例详述了数据预处理、模型构建、训练过程和预测新图像的步骤,为读者提供TensorFlow和Keras的基础实践指导。
142 59
|
9天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】26.卷积神经网络之AlexNet模型介绍及其Pytorch实现【含完整代码】
|
9天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】28.卷积神经网络之NiN模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】28.卷积神经网络之NiN模型介绍及其Pytorch实现【含完整代码】
|
15天前
|
机器学习/深度学习 Java 开发工具
【移花接木】OpenCV4.8 For Java 深度学习 实时人脸检测
【移花接木】OpenCV4.8 For Java 深度学习 实时人脸检测
28 0
|
3天前
|
机器学习/深度学习 搜索推荐 算法
基于深度学习神经网络协同过滤模型(NCF)的图书推荐系统
登录注册 热门图书 图书分类 图书推荐 借阅图书 购物图书 个人中心 可视化大屏 后台管理
基于深度学习神经网络协同过滤模型(NCF)的图书推荐系统
|
5天前
|
机器学习/深度学习 人工智能 TensorFlow
如何将OpenCV与AI深度学习结合使用
如何将OpenCV与AI深度学习结合使用
13 1
|
9天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】27.卷积神经网络之VGG11模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】27.卷积神经网络之VGG11模型介绍及其Pytorch实现【含完整代码】
|
9天前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】25.卷积神经网络之LeNet模型介绍及其Pytorch实现【含完整代码】
【从零开始学习深度学习】25.卷积神经网络之LeNet模型介绍及其Pytorch实现【含完整代码】
|
9天前
|
机器学习/深度学习 并行计算 PyTorch
【从零开始学习深度学习】20. Pytorch中如何让参数与模型在GPU上进行计算
【从零开始学习深度学习】20. Pytorch中如何让参数与模型在GPU上进行计算
|
9天前
|
存储 机器学习/深度学习 PyTorch
【从零开始学习深度学习】19. Pytorch中如何存储与读取模型:torch.save、torch.load与state_dict对象
【从零开始学习深度学习】19. Pytorch中如何存储与读取模型:torch.save、torch.load与state_dict对象