发展历程
参考[1905.05055] Object Detection in 20 Years: A Survey (arxiv.org)综述,如图所示(图源论文):
在2012年AlexNet横空出世之前,物体检测主导方法都还是利用人工设计的特征,比如:
Viola Jones Detectors:
在2001年,Viola 和 Jones 在CVPR上发表了经典的《Rapid Object Detection using a Boosted Cascade of Simple Features》和《Robust Real-Time Face Detection》,提出了Viola-Jones检测器。VJ框架在AdaBoost算法的基础上,使用Haar-like小波特征和积分图技术来进行人脸检测。
VJ Det.采用最直接的检测方法,即,利用滑动窗口查看图像中所有可能的位置和比例,看看是否有窗口包含人脸。它通过结合“积分图像”、“特征选择”和“检测级联”三种技术,在当时大大提高了检测速度。
HOG Detector:
HOG Det.利用方向梯度直方图(HOG)特征描述符作为新的特征描述。同时,为了检测不同大小的对象,HOG Det.在保持检测窗口大小不变的情况下,对输入图像进行多次重标**。**
DPM(Deformable Part Model):
正如其名称所述,可变形的组件模型,是一种基于组件的检测算法,其所见即其意。该模型由大神Felzenszwalb在2008年提出,发表了一系列的cvpr,NIPS。并且还拿下了2010年,PASCAL VOC的“终身成就奖
DPM算法采用了改进后的HOG特征,SVM分类器和滑动窗口检测思想,针对目标的多视角问题,采用了多组件的策略,针对目标本身的形变问题,采用了基于图结构的部件模型策略。
2012年之后,在深度学习进入这一领域,诞生了很多优秀的算法,这里我将选取了一些我个人很仰慕的典型的算法。
单阶段*(one-stage)*
YOLOv3:
YOLO系列中,我感觉YOLOv3的应用最广。不同于两阶段的算法,YOLO将候选区和对象识别这两个阶段合二为一 ,将图像分为多个区域,同时预测多个区域的边界框和概率。YOLOv3中,未解决多尺度问题,使用FPN用不同尺寸特征图进行预测。
两阶段*(two-stage)*
R-CNN**:**对每张图通过 Selective search提取2000个候选区域,每个区域被 warped到卷积网络要求的输入大小,然后通过卷积网络得到一个输出作为这个区域的特征。使用这些特征来训练多个SVM来识别物体,每个SVM预测一个区域是不是包含某个物体。最后,使用这些区域特征来训练线性回归器来对区域位置进行调整。
每张图会通过 Selective Search提取2000个候选区域
每个区域被 warped到卷积网络要求的输入大小,然后通过卷积网络得到一个输出,作为这个区域的特征
使用这些特征来训练多个svm来识别物体,每个sm预测一个区域是不是包含某个物体
使用这些区域特征训练线性回归器,对区域位置调整
存在问题:
每个候选区的需要单独过CNN,计算量大
Selective Search提取的区域质量不好
特征提取、SVM分类器是独立训练而非联合训练,耗时长
Fast R-CNN
改进:
RoI Pooling:将每个区域内均匀分成若干小块,每个小块得到该区域内的最大值
Softmax+regressor:可以联合训练
Faster R-CNN:
针对Fast R-CNN中提取候选区域耗时长的不足,Faster R-CNN在产生候选区域时,使用 Anchor + RPN网络替代 Selective Search选取候选区域,选出包含物体的 Anchor进入RoI Pooling提取特征。在第二阶段,对候选区域进行分类并预测目标物体位置。
改进:
RPN替代Selective Search,用于提取候选区域
FPN:
构造多尺度金字塔,期望模型能够具备检测不同大小尺度物体的能力
Anchor:{322,642,1282,2562,5122}{P2,P3,P4,P5,P6}
RPN网络分为多个head预测不同尺度上的候选框
RPN网络的预测结果和 anchor解码得到的R会进行合并
Cascade R-CNN:
在Faster R-CNN中,RPN提出的proposals大部分质量不高,导致没办法直接使用高阈值的detector。为解决此问题,Cascade R-CNN引入多个head对RoI进行微调,每次 BBox head的偏移量和RoI解码作为下个阶段的RoI输入。
Libra R-CNN:
摘要:
相比于模型结构,相比之下如何对模型进行训练这一方面受到的关注比较少,但是其对于目标检测任务来说同样的重要。作者回顾了检测器的标准训练过程,发现了检测性能往往受到训练过程中不平衡的限制,而这种不平衡一般由三个层次组成:样本层(sample level)、特征层(feature level)和目标层(objective level)。
为了解决这个问题,作者提出了Libra R-CNN,用来平衡训练过程。Libra R-CNN由三个新组建构成:IoU平衡采样(IoU-balanced sampling)、平衡特征金字塔(balanced feature pyramid)和平衡L1损失(balanced L1 loss),分别用于降低采样、特征和目标三个层次的不平衡。
***AnchorFree****系列*
CornerNet:
将目标检测问题当作关键点检测问题来解决,也就是通过检测目标框的左上角和右下角两个关键点得到预测框。简单来说,CornerNet预测左上角和右下角两个关键点,再将其通过Embedding,将距离近的关键点组成预测框。
FCOS:
FCOS是基于FCN的逐像素目标检测算法,实现了anchor-free\proposal free的解决方案。简单来说,FCOS的核心思想是预测点和点到目标框四边的距离。