paper:PP-YOLO: An Effective and Efficient Implementation of Object Detector
code:https://github.com/PaddlePaddle/PaddleDetection
摘要:
在实际应用中,由于硬件的限制,往往需要牺牲精度来保证探测器的推断速度。因此,必须考虑目标探测器的有效性和效率之间的平衡。paper的目标不是提出一个新的检测模型,而是实现一个具有相对平衡的有效性和效率,可以直接应用于实际应用场景的目标检测器。
考虑到YOLOv3在实践中的广泛应用,作者开发了一种基于YOLOv3的新的物体检测器。主要尝试结合现有的各种技巧,在几乎不增加模型参数和FLOPs的数量,在保证速度几乎不变的情况下,达到尽可能提高探测器精度的目的。
如果不熟悉YOLOv3(或者是yolo系列),可以查看以下资料:
1. 目标检测算法——YOLOv1
2. 目标检测算法——YOLOv2
3. 目标检测算法——YOLOv3
4. 目标检测算法——YOLOv4
1. Introduction
对于yolo系列的目标基础网络,从yolov1到yolov3,结构有巨大的改变。而yolov4是在yolov3的基础上,添加了许多的技巧。本文同样是基于yolov3,提出了pp-yolo,同样的添加了许多技巧。这些技巧在不增加推断时间的情况下,可以提高模型的准确性。
PP-YOLO与YOLOv4不同,没有探索不同的骨干网络和数据增强方法,也没有使用NAS搜索超参数。在PP-YOLO中,骨干网络使用ResNet,数据增强使用MixUp。其中,使用ResNet的一个原因是使用得较广,而且各种深度学习框架都针对ResNet系列进行了深度优化,在实际部署时更加方便,在实际中推断速度也会更好。另外的一个原因是,骨干网络与数据增强都属于是额外的独立因素,许多研究都进行在骨王网络与数据增强中,所以其与技巧无关。使用NAS搜索超参数通常会消耗更多的计算能力,因此在每个新场景中通常没有条件使用NAS执行超参数搜索。为此,在PP-YOLO中的参数遵循着YOLOv3。(所以,其实如果换一个更有效的backbone,增加多种数据增强与NAS搜索,PP-YOLO的效果可能会更好)
当然,一些技巧不能直接使用,稍加修改在所难免,而且添加技巧的位置也需要细致考虑。所以这篇文章更像是一个配方,告诉如何一步一步地构建更好的检测器。PP-YOLO模型比YOLOv4的速度还要快,精度也更高。
2. Related Work
这个部分再讲述了一些目标检测的发展史。从双阶段的目标检测到单阶段的目标检测,从anchor-based到anchor-free,而anchor-free又发展了Anchor-point based检测与Keypoint based检测两个分支。
3. PP-YOLO
首先对YOLOv3的详细结构进行了修改,并引入了一个修改后的版本,将骨干替换为ResNet50-vd-dcn,作为本文的基本基线。然后介绍一些技巧,这些技巧可以在几乎不损失效率的情况下提高YOLOv3的性能。
3.1 Architecture
PP-YOLO结构如下图所示:
为了简洁起见,省略了激活层,细节描述见下面的内容。
3.1.1 Backbone
将ResNet50-vd替换了原来的DarkNet-53主干,但是直接替换会损害性能,所以需要用可变形的卷积层替换ResNet50-vd中的一些卷积层。DCN本身不会显著增加模型中的参数和FLOPs的数量,但是在实践中过多的DCN层会大大增加推断时间。所以,为了平衡精度与速度,只对最后阶段的3x3卷积层替换为DCN。
关于DCN的细节可以参考:目标检测算法——DCN(可变形卷积网络)
3.1.2 Detection Neck
3.1.3 Detection Head
YOLOv3的检测头比较简单,包括两层卷积层。首先是一个3x3的卷积层,然后是一个1x1的卷积层得到最终的预测,每个最终预测的输出channels为:3 × ( K + 5 ) ,其中的K表示类别数目。
可以注意到这里的输出channels的倍数是乘上了一个3的,这里表示每个最终预测图上的每个位置都与三个不同的锚相关联。对与这3组的每一组锚框,前K表示K个类别,随着4个是边界框参数,最后一个是置信度。在进行分类和定位时,分别采用交叉熵损失和L1损失。对象损失用于监督对象评分,该评分用于识别是否存在对象。
这里的回归设置与YOLOv3的相同的。YOLOv3中为每一层的特征层设置了3中不同大小尺度的锚框尺寸,所以这里会乘上一个3.
3.2 Selection of Tricks
对于很多的技巧其实不能直接使用在YOLOv3结构上的,所以需要对结构进行适当调整。
3.2.1 Larger Batch Size
采用更大的批量可以提高训练的稳定性,取得更好的效果。这里我们将训练批数从64调整为192,并相应地调整训练计划和学习率。
3.2.2 EMA
在训练模型时,保持训练参数平均移动往往有益于训练更优的模型, 使用平均参数评估有时会产生比最终训练值更好的结果。 指数平均移动是深度学习中常用到的优化方法,由于在训练深度学习模型时,模型权重在最后几步可能会在最优点处徘徊。EMA的思路是取最后几步的平均值作为最后的结果,从而增加模型的鲁棒性。公式为:
其中,λ 表示衰减因子,一般赋值为λ = 0.9998
3.2.3 DropBlock
DropBlock操作是对整个局部区域进行删减丢弃,是一种结构化的DropOut。与原论文不同的是,只将DropBlock应用到FPN中,因为作者发现将DropBlock添加到骨干网络中会导致性能下降。
DropBlock的具体注入点在图2中用“三角形”标记。
3.2.4 IoU Loss
边界盒回归是目标检测的关键步骤。在YOLOv3中,包围盒回归采用L1损失。它不是为mAP评估指标量身定制的,mAP评估指标强烈依赖于Intersection over Union (IoU)。为解决这一问题,有人提出了IoU损失和其他变体,如CIoU损失和GIoU损失。
与YOLOv4不同,作者这里没有直接用IoU loss代替L1-loss,而是增加了另一个分支来计算IoU loss。然后发现各种各样的IoU损失的改进是相似的,所以作者选择了最基本的IoU损失。
3.2.5 IoU Aware
在YOLOv3中,将分类概率和目标得分相乘作为最终检测置信度,其中这没有考虑到定位精度。
为了处理这个问题,论文中引入一个IoU预测分支。在训练过程中,使用感知IoU损失来训练这个分支。在推理阶段,最后的分类置信度由分类概率、目标分数和IoU值乘积得到。
最终的检测置信度然后用作后续NMS的输入。
3.2.6 Grid Sensitive
Grid Sensitive是YOLOv4引入的一种有效的技巧。当我们解码包围盒中心x和y的坐标时,在原始YOLOv3中可以通过下面的两个公式获得:
3.2.7 Matrix NMS
Matrix NMS是由Soft-NMS驱动的,它将其他检测分数衰减为它们重叠的单调递减函数,优点是可以并行实现。
3.2.8 CoordConv
CoordConv的提出是为了解决经典卷积神经网络无法感知坐标信息的问题。CoordConv在普通卷积的基础上添加两个通道分别表示横向和纵向的位置,用于给卷积操作提供自身位置信息。CoordConv使得网络可以具备完全或部分平移不变性。
3.2.9 SPP
SPP结构可以实现让网络能够适应不同尺度的图像输入,避免对图片进行裁剪或者缩放,导致位置信息丢失。详细可以查看yolov4的Bag of specials。
3.2.10 Better Pretrain Model
在ImageNet上使用分类精度更高的预训练模型可以获得更好的检测性能
4. Result
- 技巧带来的精度提升:
- 与SOTA的对比:
总结:
paper基于百度的一个深度学习框架PaddlePaddle,在yolov3的基础上,增加了许多技巧提出pp-yolo使得其在精度与速度上都超多了当时的SOTA。