导读
目标检测是指在图像或视频中分类和定位物体的任务。由于其广泛的应用，最近几年目标检测受到了越来越多的关注。本文概述了基于深度学习的目标检测器的最新发展。同时，还提供了目标检测任务的基准数据集和评估指标的简要概述，以及在识别任务中使用的一些高性能基础架构，其还涵盖了当前在边缘设备上使用的轻量级模型。在文章的最后，我们通过以图表的形式直观地在多个经典指标上比较了这些架构的性能。
背景
Structure of the paper
目标检测对于人类来说是一项很简单的任务，但是对于计算机来说却是一项艰巨的任务。目标检测涉及在视野范围内识别和定位所有物体（如汽车、人、街道标志等）的实例。此外，分类、分割、运动估计、场景理解等任务也是计算机视觉中的基本问题。
早期的目标检测模型是由手工提取的特征提取器构建的，例如 Viola-Jones 检测器和方向梯度直方图（HOG）等。这些模型运行速度慢且检测不准确，在未熟悉的数据集上表现不佳。卷积神经网络（CNN）和深度学习在图像分类任务中的再次出现改变了视觉感知的景观。AlexNet 在 2012 年 ImageNet 大规模视觉识别挑战赛（ILSVRC）中以绝对优势获得了冠军，这极大地启发科研人员/从业者对基于深度学习的计算机视觉算法进行深入研究。今天，目标检测在自动驾驶汽车、身份检测、安防和医疗领域都有大量的应用。近年来，随着新工具和技术的快速发展，目标检测算法的性能取得了指数级增长。
如上图所示，本文内容的组织结构如下：
- 全文内容的概述及背景介绍
- 目标检测任务的问题陈述及关键挑战
- 学术界常用的基准数据集和评估指标
- 现代目标检测算法的几种里程碑式的基础架构
- 单/双阶段目标检测算法的发展史
- 轻量级网络架构的发展史
- 各种网络架构的性能对比
- 目标检测算法领域的未来趋势
- 全文总结
问题陈述
目标检测是目标分类的自然延伸，其目的仅在于识别图像中的目标。目标检测的目标是检测预定义类别的所有实例，并通过轴对齐的框提供目标在图像中的粗略定位。检测算法应该能够识别目标类别的所有实例，并在其周围画出边界框。它通常被视为有监督学习问题。现代的目标检测模型可以通过大量的带标记图像进行训练，并在多个经典的基准数据集上上进行性能评估。
关键挑战
计算机视觉在过去十年取得了巨大进步，但仍有一些关键挑战需要克服。算法在实际应用中面临的一些关键挑战包括：
- 类内变化： 同一目标实例之间的类内变化在自然界中很常见。这种变化可能由多种原因引起，如遮挡、照明、姿势、视角等。这些不受约束的外部因素可能会对目标外观产生巨大影响。 某些目标可能具有非刚性变形或旋转、缩放或模糊等特性，这都使得特征提取变得异常困难。
- 类别数量： 同时检测大量的目标是一个非常具有挑战性的问题。它需要大量的高质量注释数据，这极大的增加了标注成本。 使用少样本训练策略来训练检测算法当前十分热门的研究领域。
- 效率： 当今的模型需要大量的计算资源来生成准确的检测结果。随着移动和边缘设备变得普遍，高效的目标检测器对计算机视觉领域的进一步发展至关重要。
数据集和评估指标
数据集
Sample images from different datasets.
Comparison of various object detection datasets.
我们将在下文介绍一些常用的目标检测数据集。这些数据集可能包括图像数据集、视频数据集或者其他类型的数据集。我们会对这些数据集进行概述，包括数据集的大小、数据类型、标注信息等。
PASCAL VOC
Number of images for different classes annotated in the PascalVOC dataset
Pascal Visual Object Classes（VOC）是目标检测领域常用的数据集。它于2005年开始，在四种目标类别上进行分类和检测任务，但两个版本的挑战通常被用作基准。VOC07数据集有5k张训练图片和超过12k张标注图片，而VOC12数据集将其增加到11k张训练图像和超过27k张标注图片。目标类别被扩展到20类，并且像分割和动作检测这样的任务也被包括在内。Pascal VOC引入了平均精度（mAP）并以IoU@50（交集除以并集）的标准来评估模型的性能。上图描绘了在Pascal VOC数据集中各类图像的数量分布。
ILSVRC
Number of images for different classes annotated in the ImageNet dataset
ImageNet Large Scale Visual Recognition Challenge（ILSVRC）是一项从2010年到2017年每年举办的挑战赛，并成为了评估算法性能的基准数据集。数据集大小超过100万张图像，其中包括1000个目标类别。其中200个类别被手选用于目标检测任务，包括超过500k张图像。包括ImageNet和Flikr在内的各种来源被用于构建检测数据集。此外，ILSVRC还通过放宽IoU阈值来更新评估指标，以用于评估小目标检测性能。上图描绘了在ImageNet数据集中各类图像的数量分布。
MS-COCO
Number of images for different classes annotated in the MS-COCO dataset
Microsoft Common Objects in Context（MS-COCO）是当前可用的最具挑战性的数据集之一。它包含91种真实世界中常见的普通目标。它有超过200万个实例，平均每张图像有3.5类别。此外，每张图像平均包含7.7个实例，比其他流行数据集都要多。MS-COCO包含来自不同视角的图像。它还引入了一种更严格的方法来测量检测算法的性能。与Pascal VOC和ILSVCR不同，它阈值范围从0.5到0.95并以0.05为步长计算IoU，然后使用这10个值的组合作为最终度量标准，其称为平均精度（mAP）。除此之外，它还分别使用小、中、大目标的AP来比较不同尺度下的性能。上图描绘了在MS-COCO数据集中各类图像的数量分布。
Open Image
Number of images for different classes annotated in the Open Images dataset
谷歌的Open Images数据集由9.2 m张图像组成，其中包括图像级标签、目标边界框和分割掩模等标注。它于2017年推出，并已经历了六次更新。对于目标检测，Open Images有16 m个边界框，针对1.9 m张图像的600个类别，这使它成为最大的目标定位数据集。它的创建者特别注意选择有趣、复杂和多样的图像，每张图像平均有8.3个目标类别。在Pascal VOC中引入的AP做了几点改变，比如忽略未标注的类别、类别及其子类别的检测要求等。上图描绘了在Open Images数据集中各类图像的数量分布。
常用的目标检测数据集（如Pascal VOC、MS-COCO和Open Images）存在数据不平衡问题，即某些类别的图像数量远远大于其他类别。这种数据不平衡会导致训练出的目标检测模型在某些类别上表现较好，而在其他类别上表现较差。虽然ImageNet数据集也存在这一问题，但是程度要小得多。此外，ImageNet数据集中出现频率最高的类别是“考拉”，而在真实世界目标检测场景中（如人、车、交通标志等）最关注的类别并不在前几位。因此，在使用这些数据集训练目标检测模型时，需要注意这种数据不平衡带来的影响。
评估指标
目标检测任务常用多个标准来衡量检测算法的性能，如每秒帧数（FPS）、精度和召回率。但是，平均精度（mAP）是最常见的评估指标。精度是由交叉率（IoU）推导出来的，它是GT和预测边界框之间的重叠区域与联合区域的比率。此外，可以通过设定阈值来确定检测是否正确，如果IoU大于阈值，则将其分类为真阳性（True Positive），而IoU低于阈值时分类为假阳性（False Positive）。如果模型未能检测到GT中存在的目标，则称其为假阴性（False Negative）。
根据上述方程，将每个类别的平均精度分别计算出来。为了比较检测器之间的性能，使用所有类别的平均精度的平均值，称为 mAP，作为最终评估的单一指标。
主干网络结构
主干网络结构是目标检测算法最重要的组成部分之一。这些网络从输入图像中提取模型使用的特征。下面，我们讨论了一些在现代检测算法中常用的里程碑式的主干网络结构。
AlexNet
Krizhevsky等人于2012年提出了AlexNet，这是一种基于卷积神经网络的图像分类网络结构，并赢得了2012年的ImageNet大规模视觉识别挑战赛冠军。它的准确度显著高于（%26）当时其他选手的模型。AlexNet由八个可学习层组成，包括五个卷积层和三个全连接层。全连接层的最后一层连接到N路（N：类别数）softmax分类器。它在整个网络中使用多个卷积核从图像中获取特征。它还分别使用dropout和ReLU进行正则化和更快的训练收敛。AlexNet再次介绍了卷积神经网络，并很快成为处理图象数据的首选技术。
VGG
AlexNet 及其后继模型均只关注浅层CNN网络，并未对更深层的CNN网络进行研究。Simonyan和Zisserman通过调查网络深度对准确度的影响，提出了经典网络架构-VGG，这是一种使用小卷积滤波器构建的不同深度的网络。虽然较大的感受野可以通过一组较小的卷积滤波器捕获，但这大大减少了网络参数并且收敛速度更快。VGG向我们展示了如何使用深层网络架构（16-19层）进行图象分类，并具有更高的准确度。VGG是通过添加多个卷积层堆叠后再加上三个全连接层来构建的，网络最后跟着一个softmax层。根据VGG作者的说法，卷积层的数量可以从8到16不等。VGG在多次迭代中进行训练；首先，使用随机初始化训练最小的11层网络结构，然后使用这些权值训练更大更深的网络以防止梯度不稳定。VGG在单个网络性能类别中优于ILSVRC 2014获胜者GoogLeNet。它很快成为用于目标分类和检测模型中最常用主干网络之一。
GoogLeNet/Inception
尽管分类模型在实现更快，更准确的方向上取得了很大的进展，但由于计算资源仍不足以承受模型巨大的参数量，将它们部署到现实世界的应用中仍然很遥远。随着网络规模的增大，计算成本呈指数级增长。Szegedy等人提出网络中计算浪费是造成这种情况的主要原因。这是因为更大的模型也具有大量参数，大模型往往会导致数据过拟合。因此，他们提出使用局部稀疏连接的架构代替完全连接的架构来解决这些问题。GoogLeNet因此是一个22层深的网络，由多个Inception模块堆叠构成。Inception模块是一种具有多种尺寸滤波器的网络，输入特征图通过通过多个滤波器编码后再融合成一个特征图转发到下一层。该网络还在中间层使用辅助分类器，以助于网络梯度的有效传播。它在ImageNet数据集上实现了93.3％的top-5精度，而且比其他的分类模型更快。在接下来的几年中，Inception的更新版本也陆续发布，性能也得到了很大的提升，并为稀疏连接架构的有效性提供了进一步的证明。
ResNets
在卷积神经网络变得越来越深的情况下，Kaiming He等人通过大量的实验证明了它们的准确度是如何先被饱和，然后迅速降低。他们提出将残差连接应用于卷积堆叠层，以缓解网络性能下降的问题。残差连接可以通过在邻接层之间添加skip connection来实现。这种连接是块的输入和输出之间的元素加法，并不会为网络增加额外的参数或计算复杂度。典型的34层ResNet 实际上是由一个大（7x7）卷积过滤器、16个瓶颈模块（两个小3x3滤波器和身份快捷方式），以及一个全连接层组成。瓶颈架构可以通过堆叠3个卷积层（1x1，3x3，1x3）来调整网络深度。Kaiming He等人还证明了16层VGG网络与其深度较小的101层和152层ResNet架构相比具有更高的复杂度，更低的精度。在后续的论文中，作者还提出了使用批量归一化和ReLU层的Resnetv2，这是一种更通用且易于训练的网络架构。ResNets在分类和检测的基础架构中广泛使用，它的核心思想：“残差连接”启发了许多后续网络架构的设计。
ResNeXt
ResNeXt是 ILSVRC 2016 挑战赛的亚军。它的构建灵感来自于 VGG/ResNet 中堆叠相似块的构建方式和 Inception 模块的“分裂-变换-合并”策略。它的核心思想是用类似 Inception 的 ResNeXt 模块替换 ResNet 中的每个block，从而使得网络更容易缩放和泛化。ResNeXt 还提到了“基数（cardinality）（ResNeXt 块中的拓扑路径）”可以作为深度和宽度的第三维来提高模型准确度。与同等深度的 ResNet 架构相比，ResNeXt 在具有更少的超参数的情况下取得了更高的准确度。
CSPNet
虽然当前的神经网络在计算机视觉任务中表现出令人满意结果，但它们需要依赖大量的计算资源。Wang等人相信通过裁剪网络中重复的梯度信息可以减少大量的推理复杂度。他们设计的CSPNet旨在通过减少网络中重复梯度信息来降低推理计算的复杂度。它通过将基础层的特征图分成两部分来实现这一目的。其中一部分通过部分卷积网络块（例如DenseNet中的Dense和Transition块或ResNeXt中的Res(X)块）进行处理，另一部分在稍后的阶段与其输出合并。这样可以减少参数量，提高计算单元的利用率，并简化内存占用。CSPNet易于实现，并且足以适用于ResNet、ResNeXt、DenseNet、Scaled-YOLOv4等网络架构。在这些网络上应用CSPNet可以将计算量减少10%到20%，同时保持或提高精度。CSPNet还大大减少了内存成本和计算瓶颈，并被广泛用于许多先进检测模型，同时也被应用在移动或边端设备。
EfficientNet
Tan等人系统地研究了网络缩放对模型性能的影响。他们总结了网络参数的改变（如深度、宽度和分辨率）对其精度的影响。单独缩放任何参数都会有相关的代价。增加网络的深度可以帮助捕获更丰富和复杂的特征，但是梯度消失问题会使得网络难以训练。类似地，扩展网络宽度可以帮助捕获细粒度的特征，但是很难获得高级语义特征。增加图像分辨率的增益（如深度和宽度）会随着模型的扩展而饱和。在该篇论文中，Tan 等人提出了一个复合系数，可以均匀缩放这三个维度。每个模型参数都有一个相关的常数，通过将系数固定为1，并在基础网络上执行网格搜索来找合适的相关系数。基础网络结构是受到以前的文章启发构建的，主要思想是在搜索目标上进行神经网络架构搜索，同时优化精度和计算量。EfficientNet是一种简单高效的网络架构。它在精度和速度方面均优于现有模型，同时具备较小参数量。通过在效率方面提供里程碑式的提高，EfficientNet开启了高效网络领域的新时代。
目标检测算法
下面我们主要介绍的是目标检测算法，其中包含了传统目标检测算法以及基于深度学习的单/双阶段目标检测算法。具有生成区域建议模块的网络称为双阶段目标检测算法。这些算法在第一阶段尝试在图像中找到任意数量的目标候选区域，然后在第二阶段再对它们进行分类和定位。由于这些算法需要分两个步骤进行处理，它们具有复杂的架构、需要更长的推理时间并且缺乏全局背景信息。单阶段检测算法使用密集采样策略在单次推理中图象中目标分类和定位。通常，单阶段检测算法会使用各种尺度和宽高比的预定义框/关键点充当先验信息来辅助检测，并且在实时性能和简单设计方面优于双阶段检测算法。
传统方法
Viola-Jones
一种在2001年提出用于人脸检测的目标检测算法。Viola-Jones 结合了多种技术，如Haar-like特征，积分图像，Adaboost和级联分类器。第一步是在输入图像上滑动窗口搜索Haar-like特征，并使用积分图像来计算编码。然后，它使用训练过的Adaboost来找到每个haar特征的分类器并进行级联。得益于高效且快速的特性，Viola Jones算法仍然在小型设备中使用。
HOG
这是由Dalal和Triggs在2005年提出一种用于提取物体检测特征的方法。HOG提取边缘的梯度及其方向来创建特征表。首先将图像划分为等比例网格区域，然后使用特征表为每个网格中的单元格创建直方图，最后为感兴趣的区域生成HOG特征，并将其输入线性SVM分类器进行检测。该检测算法是为行人检测而提出的，同时也可以用于训练和检测各种类别。
DPM
这是由Felzenszwalb等人在2009年提出的可变形部件模型。它使用目标的单个“部分”进行检测，并且比HOG获得了更高的准确度。它遵循分而治之的理念，在推理时单独检测目标的组成部分，并将它们标记为感兴趣区域。例如，人的身体可以被视为头、手臂、腿和躯干等部分的集合。首先，模型会捕获整个图像中的一部分区域，并且循环该过程直至所有图象部分区域都被捕获。然后，模型会根据各个部分区域的相关性删除不相关区域，以生成最终的检测结果。DPM是深度学习时代之前最成功的算法之一。
二阶段检测器
R-CNN
RCNN
一种基于卷积神经网络(CNN)改进的目标检测算法。它使用与类别无关的候选区域生成算法与CNN将检测转换为分类和定位问题。首先，将减去平均值的输入图像传递给候选区域生成算法，该模块产生2000个目标候选区域。该算法使用选择性搜索找到可能存在目标的区域。然后将这些候选区域统一采样并传递到CNN网络，该网络为每个候选区域生成4096维特征向量。Girshick等人使用AlexNet作为检测算法的主干网络，然后将特征向量传递给训练过的支持向量机(SVMs)以获得置信度分数。最后，根据IoU和类别的计算结果，对得分区域应用非最大抑制(NMS)得到最终的目标预测框。一旦确定了类别，算法就使用经过训练的边界框回归器来预测其边界框，该边界框回归器预测四个参数，即框的中心坐标以及其宽度和高度。
R-CNN 有一个复杂的多阶段训练过程。第一阶段是使用大型分类数据集进行预训练。第二阶段是使用经过特定预处理的图像输入至网络，通过随机初始化的 N+1 分类器（N 是类别数）替换分类层来进行检测微调，其中优化器使用的是随机梯度下降（SGD）。最终，R-CNN为每个类别训练一个单行 SVM 和边界框回归器。
R-CNN 引领了目标检测领域的新浪潮，但其缺点也十分明显：(1)推理速度十分慢（每张图片的推理时间约 47 秒）；(2)它的训练过程很复杂，即使在计算共享优化的情况下，在小数据集上训练仍需几天的时间。
SPP-Net
SPP-Net
He 等人提出了使用空间金字塔池化（SPP）层来处理任意大小或宽高比的图像。SPP-net 仅在候选区域生成算法之前的卷积层后添加了一个池化层，从而使网络能不再受限于固定尺寸的输入图象，并这一操作能减少大量的计算量。选择性搜索算法用于生成候选窗口。首先通过 ZF-5 网络的卷积层将输入图像映射到特征图，然后将候选窗口映射到特征图上，再将其通过金字塔池化层的空间 bins 转换为固定长度的表示，最后该向量通过全连接层并最终传递给 SVM 分类器以预测类别和分数。与 R-CNN 类似，SPP-net 也使用特定的后处理层来优化目标的定位结果，同时它也使用相同的多阶段训练过程，但仅需要在全连接层上进行微调。
SPP-net 的优势在于它可以处理任意大小和宽高比的输入图像，这得益于它使用了 SPP 层来将输入图像映射到固定长度的表示。这与 R-CNN 的固定输入大小形成了鲜明对比。另外，SPP-net 使用选择性搜索算法生成候选窗口，这比 R-CNN 生成的窗口更少，因此 SPP-net 的计算量更少。然而，SPP-net 仍然存在一些问题，如需要较长的训练时间和较大的内存使用量。
Fast R-CNN
Fast R-CNN
R-CNN/SPP-Net 的一个主要问题是需要单独训练多个网络组件/模块。Fast R-CNN 通过创建单个端到端可训练系统解决了这个问题。 首先，该网络将图像和候选区域作为输入，图像通过一组卷积层，并将目标候选区域映射到所获得的特征图上。然后，使用 RoI 池化层取代 SPP-net 中的金字塔池化层进行特征编码，接着通过 2 个全连接层进行全局特征融合，最后输入至 N+1 类 SoftMax 层和边界框回归层得到最终的预测结果，其中边界框回归层有一个全连接层。该模型还将边界框回归器的损失函数从 L2 改为了平滑 L1以提高性能，同时引入了多任务损失来训练网络。
Fast R-CNN 的优势在于它是一个端到端可训练系统，因此可以避免 R-CNN/SPP-Net 中训练多个网络组合/模块问题。 它使用了 RoI 池化层，从而使网络能够处理任意大小的输入图像，同时使用了平滑 L1 损失来提高边界框回归的性能。然而，Fast R-CNN 仍然具有较长的训练时间和较大的内存使用量。
Faster R-CNN
Faster R-CNN
虽然 Fast R-CNN 更能满足实时的需求，但其候选区域生成的速度仍然十分缓慢。Ren 等人提出使用全卷积网络作为候选区域建议网络（RPN），该网络接受任意输入图像并输出一组候选窗口。每个这样的窗口都具有关联的目标置信度，该分数决定了目标的可能性。与之前使用图像金字塔解决目标尺寸变化的方法不同，RPN 引入了锚框机制，其使用了多个不同长宽比的边界框作为先验值对目标的位置进行回归。 首先将输入图像通过 CNN 传递，以获得一组特征图。这些特征图被转发到 RPN，该 RPN 生成边界框及其类别。然后将候选区域映射回前一个 CNN 层获得的特征图上的 RoI 池化层。最终输入全连接层，并输入到分类器和边界框回归器。
Faster R-CNN 比先前最先进的检测算法提高了 3% 的精度，并将推理时间减少了一个数量级。它解决了候选区域提取缓慢的瓶颈，并以每秒 5 帧接近实时的速度运行。在候选区域建议模块中使用 CNN 的另一个优点是，它可以学习生成更好的候选区域，从而提高准确度。
FPN
FPN
使用图像金字塔提取多尺度图象信息是增强小物体检测的常用方法。虽然这种方法会增加检测算法的平均精度，但同时推理时间也是极大地增加。Lin 等人提出了特征金字塔网络 (FPN)，它具有自上而下与横向连接的架构，这可以在不同尺度上建立高级语义特征。 具体地，FPN 具有两条通路，一条自下而上的通路是在对多个尺度特征图编码的 ConvNet，另一条自上而下的通路将来自更高级的粗糙特征映射升采样为高分辨率特征。这两条通路由横向连接相连，通过 1x1 卷积操作来增强特征中的语义信息。如上图所示，FPN 被用作于将主干网络的多尺度特征融合交互后再输入至RPN。
