论文阅读笔记 | 目标检测算法——PP-YOLO

本文涉及的产品
文件存储 NAS,50GB 3个月
简介: 论文阅读笔记 | 目标检测算法——PP-YOLO

paper:PP-YOLO: An Effective and Efficient Implementation of Object Detector

code:https://github.com/PaddlePaddle/PaddleDetection

image.png

摘要:

在实际应用中,由于硬件的限制,往往需要牺牲精度来保证探测器的推断速度。因此,必须考虑目标探测器的有效性和效率之间的平衡。paper的目标不是提出一个新的检测模型,而是实现一个具有相对平衡的有效性和效率,可以直接应用于实际应用场景的目标检测器。

考虑到YOLOv3在实践中的广泛应用,作者开发了一种基于YOLOv3的新的物体检测器。主要尝试结合现有的各种技巧,在几乎不增加模型参数和FLOPs的数量,在保证速度几乎不变的情况下,达到尽可能提高探测器精度的目的。

如果不熟悉YOLOv3(或者是yolo系列),可以查看以下资料:

1. 目标检测算法——YOLOv1

2. 目标检测算法——YOLOv2

3. 目标检测算法——YOLOv3

4. 目标检测算法——YOLOv4


1. Introduction


对于yolo系列的目标基础网络,从yolov1到yolov3,结构有巨大的改变。而yolov4是在yolov3的基础上,添加了许多的技巧。本文同样是基于yolov3,提出了pp-yolo,同样的添加了许多技巧。这些技巧在不增加推断时间的情况下,可以提高模型的准确性。


PP-YOLO与YOLOv4不同,没有探索不同的骨干网络和数据增强方法,也没有使用NAS搜索超参数。在PP-YOLO中,骨干网络使用ResNet,数据增强使用MixUp。其中,使用ResNet的一个原因是使用得较广,而且各种深度学习框架都针对ResNet系列进行了深度优化,在实际部署时更加方便,在实际中推断速度也会更好。另外的一个原因是,骨干网络与数据增强都属于是额外的独立因素,许多研究都进行在骨王网络与数据增强中,所以其与技巧无关。使用NAS搜索超参数通常会消耗更多的计算能力,因此在每个新场景中通常没有条件使用NAS执行超参数搜索。为此,在PP-YOLO中的参数遵循着YOLOv3。(所以,其实如果换一个更有效的backbone,增加多种数据增强与NAS搜索,PP-YOLO的效果可能会更好)

当然,一些技巧不能直接使用,稍加修改在所难免,而且添加技巧的位置也需要细致考虑。所以这篇文章更像是一个配方,告诉如何一步一步地构建更好的检测器。PP-YOLO模型比YOLOv4的速度还要快,精度也更高。

image.png


2. Related Work


这个部分再讲述了一些目标检测的发展史。从双阶段的目标检测到单阶段的目标检测,从anchor-based到anchor-free,而anchor-free又发展了Anchor-point based检测与Keypoint based检测两个分支。


3. PP-YOLO


首先对YOLOv3的详细结构进行了修改,并引入了一个修改后的版本,将骨干替换为ResNet50-vd-dcn,作为本文的基本基线。然后介绍一些技巧,这些技巧可以在几乎不损失效率的情况下提高YOLOv3的性能。


3.1 Architecture

PP-YOLO结构如下图所示:

image.png

为了简洁起见,省略了激活层,细节描述见下面的内容。


3.1.1 Backbone

将ResNet50-vd替换了原来的DarkNet-53主干,但是直接替换会损害性能,所以需要用可变形的卷积层替换ResNet50-vd中的一些卷积层。DCN本身不会显著增加模型中的参数和FLOPs的数量,但是在实践中过多的DCN层会大大增加推断时间。所以,为了平衡精度与速度,只对最后阶段的3x3卷积层替换为DCN。

关于DCN的细节可以参考:目标检测算法——DCN(可变形卷积网络)


3.1.2 Detection Neck

image.png


3.1.3 Detection Head

YOLOv3的检测头比较简单,包括两层卷积层。首先是一个3x3的卷积层,然后是一个1x1的卷积层得到最终的预测,每个最终预测的输出channels为:3 × ( K + 5 ) ,其中的K表示类别数目。

可以注意到这里的输出channels的倍数是乘上了一个3的,这里表示每个最终预测图上的每个位置都与三个不同的锚相关联。对与这3组的每一组锚框,前K表示K个类别,随着4个是边界框参数,最后一个是置信度。在进行分类和定位时,分别采用交叉熵损失和L1损失。对象损失用于监督对象评分,该评分用于识别是否存在对象。

这里的回归设置与YOLOv3的相同的。YOLOv3中为每一层的特征层设置了3中不同大小尺度的锚框尺寸,所以这里会乘上一个3.


3.2 Selection of Tricks

对于很多的技巧其实不能直接使用在YOLOv3结构上的,所以需要对结构进行适当调整。

3.2.1 Larger Batch Size

采用更大的批量可以提高训练的稳定性,取得更好的效果。这里我们将训练批数从64调整为192,并相应地调整训练计划和学习率。

3.2.2 EMA

在训练模型时,保持训练参数平均移动往往有益于训练更优的模型, 使用平均参数评估有时会产生比最终训练值更好的结果。 指数平均移动是深度学习中常用到的优化方法,由于在训练深度学习模型时,模型权重在最后几步可能会在最优点处徘徊。EMA的思路是取最后几步的平均值作为最后的结果,从而增加模型的鲁棒性。公式为:

image.png

其中,λ 表示衰减因子,一般赋值为λ = 0.9998

3.2.3 DropBlock

DropBlock操作是对整个局部区域进行删减丢弃,是一种结构化的DropOut。与原论文不同的是,只将DropBlock应用到FPN中,因为作者发现将DropBlock添加到骨干网络中会导致性能下降。

DropBlock的具体注入点在图2中用“三角形”标记。

3.2.4 IoU Loss

边界盒回归是目标检测的关键步骤。在YOLOv3中,包围盒回归采用L1损失。它不是为mAP评估指标量身定制的,mAP评估指标强烈依赖于Intersection over Union (IoU)。为解决这一问题,有人提出了IoU损失和其他变体,如CIoU损失和GIoU损失。

与YOLOv4不同,作者这里没有直接用IoU loss代替L1-loss,而是增加了另一个分支来计算IoU loss。然后发现各种各样的IoU损失的改进是相似的,所以作者选择了最基本的IoU损失。

3.2.5 IoU Aware

在YOLOv3中,将分类概率和目标得分相乘作为最终检测置信度,其中这没有考虑到定位精度。

为了处理这个问题,论文中引入一个IoU预测分支。在训练过程中,使用感知IoU损失来训练这个分支。在推理阶段,最后的分类置信度由分类概率、目标分数和IoU值乘积得到。

最终的检测置信度然后用作后续NMS的输入。

3.2.6 Grid Sensitive

Grid Sensitive是YOLOv4引入的一种有效的技巧。当我们解码包围盒中心x和y的坐标时,在原始YOLOv3中可以通过下面的两个公式获得:

image.png


3.2.7 Matrix NMS

Matrix NMS是由Soft-NMS驱动的,它将其他检测分数衰减为它们重叠的单调递减函数,优点是可以并行实现。


3.2.8 CoordConv

CoordConv的提出是为了解决经典卷积神经网络无法感知坐标信息的问题。CoordConv在普通卷积的基础上添加两个通道分别表示横向和纵向的位置,用于给卷积操作提供自身位置信息。CoordConv使得网络可以具备完全或部分平移不变性。


3.2.9 SPP

SPP结构可以实现让网络能够适应不同尺度的图像输入,避免对图片进行裁剪或者缩放,导致位置信息丢失。详细可以查看yolov4的Bag of specials。


3.2.10 Better Pretrain Model

在ImageNet上使用分类精度更高的预训练模型可以获得更好的检测性能


4. Result


  • 技巧带来的精度提升:

image.png

  • 与SOTA的对比:

image.png

总结:

paper基于百度的一个深度学习框架PaddlePaddle,在yolov3的基础上,增加了许多技巧提出pp-yolo使得其在精度与速度上都超多了当时的SOTA。

相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
目录
相关文章
|
9天前
|
运维 算法 安全
异常检测算法及其在安全领域的应用
【6月更文挑战第4天】在数字化时代,数据安全至关重要,异常检测算法扮演着守护者角色。它能自动学习正常行为模式,及时发现网络攻击和欺诈行为。非监督式异常检测算法尤其重要,如基于距离的方法,通过计算数据点间距离识别偏离常规的点。Python的scikit-learn库可实现这一算法。异常检测不仅应用于金融领域的欺诈检测,还广泛用于工业监控、医疗诊断和社交媒体分析,为多领域数据安全提供保障。随着技术进步,异常检测将更智能、高效,成为数据安全的重要防线。
28 2
|
22天前
|
算法 计算机视觉
YOLOv3 的非极大值抑制(NMS)算法是如何工作的,它对最终检测结果有何影响?
YOLOv3 的非极大值抑制(NMS)算法是如何工作的,它对最终检测结果有何影响?
|
6天前
|
算法 计算机视觉
图像处理之霍夫变换圆检测算法
图像处理之霍夫变换圆检测算法
8 0
|
6天前
|
算法 计算机视觉
图像处理之角点检测算法(Harris Corner Detection)
图像处理之角点检测算法(Harris Corner Detection)
12 3
|
6天前
|
算法 计算机视觉
图像处理之霍夫变换(直线检测算法)
图像处理之霍夫变换(直线检测算法)
13 0
|
6天前
|
算法 计算机视觉
图像处理之简单脸谱检测算法(Simple Face Detection Algorithm)
图像处理之简单脸谱检测算法(Simple Face Detection Algorithm)
7 0
|
13天前
|
机器学习/深度学习 运维 算法
[ICDE2024]多正常模式感知的频域异常检测算法MACE
阿里云计算平台大数据基础工程技术团队主导,与浙江大学合作的论文《Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection》被ICDE2024收录,该论文解决了云服务环境中不同服务存在不同正常模式,而传统神经网络一个训练好的模型只能较好捕捉一种或少数几种正常模式的问题,该论文提出的方法可以使用一个统一模型对不同服务进行检测,就达到比为每一个服务定制一个模型的SOTA方法更好的效果。
|
17天前
|
机器学习/深度学习 算法 网络架构
基于yolov2深度学习网络的单人口罩佩戴检测和人脸定位算法matlab仿真
摘要:该内容展示了一个基于YOLOv2的单人口罩佩戴检测和人脸定位算法的应用。使用MATLAB2022A,YOLOv2通过Darknet-19网络和锚框技术检测图像中的口罩佩戴情况。核心代码段展示了如何处理图像,检测人脸并标注口罩区域。程序会实时显示检测结果,等待一段时间以优化显示流畅性。
|
20天前
|
算法 C++ 容器
黑马c++ STL常用算法 笔记(6) 常用集合算法
黑马c++ STL常用算法 笔记(6) 常用集合算法
|
20天前
|
算法 C++ 容器
黑马c++ STL常用算法 笔记(5) 常用算术生成算法
黑马c++ STL常用算法 笔记(5) 常用算术生成算法