何恺明团队计算机视觉最新进展:从特征金字塔网络、Mask R-CNN到学习分割一切

简介: 这篇文章介绍了FAIR何恺明、Tsung-Yi Lin等人的团队在计算机视觉领域最新的一些创新,包括特征金字塔网络、RetinaNet、Mask R-CNN以及用于实例分割的弱半监督方法。

特征金字塔网络(Feature Pyramid Networks)

让我们以现在著名的Feature Pyramid Networks(FPN)[1]开始,这是在CVPR 2017发表的论文,作者Tsung-Yi Lin,何恺明等人。FPN的论文真的很棒。构建一个每个人都可以在各种任务、子主题和应用领域中建立的基准模型并不容易。在详细讨论之前,我们需要了解的一点是:FPN是ResNet或DenseNet等通用特征提取网络的附加组件。你可以从你喜欢的DL库中得到想要的预训练FPN模型,然后像其他预训练模型一样使用它们。

物体是以不同的的scale和size出现的。数据集无法捕获所有这些数据。因此,可以使用图像金字塔(图像的多种缩小比例),以使CNN更易处理。但这太慢了。所以人们只使用一个单个scale的预测,也可以从中间层进行预测。这跟前一种方法有点像,但这是在特征空间上进行的。例如,在几个ResNet块之后放一个Deconv,并获得分割输出(分类也类似,可以是1x1 Conv和GlobalPool)。

FPN的作者找到了一种改进上述方法的聪明方法。不是仅仅具有横向连接,而是将自上而下的pathway也放在上面。这非常合理!他们使用一个简单的MergeLayer(mode ='addition')来组合两者。这个想法的一个关键点是,较低层(比如初始的conv层)的特征语义信息比较少,不足以用来进行分类。但是更深层的特征可以用于理解。在这里,你还可以利用所有自上而下的pathway FMaps(特征地图)来理解它,就像最深的层一样。这是由于横向连接和自上而下的连接相结合形成的。



FPN论文的一些细节

8481c8f592b7f349aa84a1de5c171db681516edf 金字塔(pyramid) 即属于一个stage的所有大小相同的输出图。最后一层的输出是金字塔的参考FMaps。例如:ResNet - 第2,3,4,5个block的输出。根据内存的可用性和特定任务,你可以根据需要改变金字塔。
8481c8f592b7f349aa84a1de5c171db681516edf 横向连接(Lateral connection) :1x1 Conv和Top-Down pathway是2x的上采样。这个想法来自于顶部特征,同时向下产生粗糙的特征,而横向连接则增加了从下往上的路径中更精细的细节。如下图所示。
8481c8f592b7f349aa84a1de5c171db681516edf 这篇论文只描述了一个简单的demo。它只是展现了这个想法在简单的设计选择中表现非常好,你可以做得更大、更复杂。

正如我前面所说,这是一个基础网络,可以在任何任务上使用,包括目标检测,分割,姿态估计,人脸检测等等。论文发布后几个月的时间,已经得到100多个引用!论文的标题是FPNs for Object Detection,因此作者继续将FPN用作RPN(Region Proposal Network)和Faster-RCNN网络的baseline。更多关键细节在论文中有更全面的解释,这里只列出一部分。

实验的一些要点:

8481c8f592b7f349aa84a1de5c171db681516edf 用于RPN的FPN:用FPN替换单一尺度的FMap。它们对每个级都有一个单一尺度的anchor(不需要多级作为其FPN)。它们还表明,金字塔的所有层级都有相似的语义层级。
8481c8f592b7f349aa84a1de5c171db681516edf Faster RCNN:他们以类似于图像金字塔输出的方式观察金字塔。因此,使用下面这个公式将RoI分配到特定level。 其中w,h分别表示宽度和高度。k是分配RoI的level。
8481c8f592b7f349aa84a1de5c171db681516edf 是w,h=224,224时映射的level。
8481c8f592b7f349aa84a1de5c171db681516edf 他们对每个模块的工作进行消融实验,以证实论文开头的宣称。
8481c8f592b7f349aa84a1de5c171db681516edf 他们还基于DeepMask和SharpMask这两篇论文展示了如何将FPN用于segmentation proposal生成。

请阅读原论文了解实现细节和实验设置等。

代码

• 官方Caffe2 - https://github.com/facebookresearch/Detectron/tree/master/configs/12_2017_baselines

• Caffe - https://github.com/unsky/FPN

• PyTorch - https://github.com/kuangliu/pytorch-fpn (just the network)

• MXNet - https://github.com/unsky/FPN-mxnet

• Tensorflow - https://github.com/yangxue0827/FPN_Tensorflow

RetinaNet——密集对象检测的Focal Loss函数

RetinaNet跟上面的FPN来自同一团队,第一作者也都是Tsung-Yi Lin。这篇论文发表于ICCV 2017,并且获得当年的最佳学生论文。

这篇论文有两个关键想法——称为焦点损失(Focal Loss,FL)的损失函数和称为RetinaNet的single stage物体检测网络。该网络在COCO物体检测任务上表现非常出色,同时也击败了前面的FPN benchmark。

Focal Loss

Focal Loss是很聪明的想法,而且很简单!如果你已经熟悉加权损失,这个与加权损失基本相同,但具有更聪明的权重,将更多的注意力集中在对困难的样本进行分类。公式如下:


其中γ是一个可以改变的超参数。是来自分类器的样本的概率。如果设γ比0大,将减小分类号的样本的权重。是正常加权损失函数中类的权重。在论文中它被表示为α-balanced loss。需要注意的是,这是分类损失,并与RetinaNet中物体检测任务的平滑L1损失相结合。

RetinaNe

FAIR发布这个single stage的检测网络,很是令人惊讶。直到现在,在 single stage 的目标检测中,占据主导地位的仍是YOLOv2和SSD。但正如作者指出的那样,这两个网络都没有能够非常接近SOTA方法。RetinaNet做到了这一点,同时它是one stage而且快速的。作者认为,最好的结果是由于新的损失,而不是由于一个简单的网络(它后端是一个FPN)。 one stage的检测器将在背景与positive classes之间存在很多不平衡(而非positive classes内部的不平衡)。他们认为,加权损失函数只是针对平衡,但FL则针对简单/困难的样本,同时也表明两者可以结合起来。

代码

• Official Caffe2 - https://github.com/facebookresearch/Detectron/tree/master/configs/12_2017_baselines

• PyTorch - https://github.com/kuangliu/pytorch-retinanet

• Keras - https://github.com/fizyr/keras-retinanet

• MXNet - https://github.com/unsky/RetinaNet

Mask R-CNN

再次,Mask R-CNN也来自FAIR何恺明团队,论文发表在ICCV 2017。Mask R-CNN用于目标实例分割。简单来说,目标实例分割基本上就是对象检测,但不是使用边界框,它的任务是给出对象的精确分割图!

TL;DR : 如果你已经了解Faster R-CNN,那么Mask R-CNN就很好理解了,就是为分割增加另一个head(branch)。所以它有3个branch,分别用于分类、bounding box regression和分割。

下面的解释假设你已经对Faster R-CNN有一定了解:

8481c8f592b7f349aa84a1de5c171db681516edf Mask R-CNN与Faster R-CNN相似,Faster R-CNN是two-stage的,其中第一个stage是RPN。
8481c8f592b7f349aa84a1de5c171db681516edf 添加一个预测分割mask的并行分支——这是一个FCN。
8481c8f592b7f349aa84a1de5c171db681516edf Loss是 的和。
8481c8f592b7f349aa84a1de5c171db681516edf ROIlign Layer而不是ROIPool。这就不会像ROIPool那样将(x / spatial_scale)分数舍入为整数,相反,它执行双线性插值来找出那些浮点值处的像素。
8481c8f592b7f349aa84a1de5c171db681516edf 例如:想象一下,ROI的高度和宽度分别为54,167。空间尺度基本上是图像大学/ FMap大学(H / h),在这种情况下它也被称为步幅(stride)。通常224/14 = 16(H = 224,h = 14)。

◦ ROIPool: 54/16, 167/16 = 3,10

◦ ROIAlign: 54/16, 167/16 = 3.375, 10.4375

◦ 现在我们可以使用双线性插值来进行上采样。

◦ 根据ROIAlign输出形状(例如7x7),类似的逻辑将相应的区域分成适当的bins。

◦ 感兴趣的话可以看看Chainer的ROIPooling的python实现,并尝试自己实现ROIAlign

◦ ROIAlign代码可以在不同的库中使用,请查看下面提供的代码库。

8481c8f592b7f349aa84a1de5c171db681516edf 它的主干是ResNet-FPN

代码

• 官方 Caffe2 - https://github.com/facebookresearch/Detectron/tree/master/configs/12_2017_baseline

• Keras - https://github.com/matterport/Mask_RCNN/

• PyTorch - https://github.com/soeaver/Pytorch_Mask_RCNN/

• MXNet - https://github.com/TuSimple/mx-maskrcnn

学习分割一切(Learning to Segment Everything)

文如其名,这篇论文是关于分割的。更具体的说,是关于实例分割的。计算机视觉中用于分割的标准数据集非常小,对现实世界的问题不足以有效。即便到了2018年,创建于2015年的COCO数据集仍然是最流行、最丰富的数据集,尽管它只有80个物体类别。

相比之下,对象识别和检测的数据集(例如OpenImages [8])具有用于分类任务的6000个类别和用于检测的545个类别。话虽如此,斯坦福大学还有另一个名为Visual Genome的数据集,其中包含3000个物体类别!那么,为什么不使用这个数据集呢?因为每个类别中的图像数量太少,因此DNN在这个数据集上并不会真正起作用,所以即使它更丰富,人们也不会使用这个数据集。而且,这个数据集没有任何分割注释,只有3000个类别的对象检测的边界框(bounding boxes)标签可用。

让我们回到Learning to Segment Everything这篇论文。实际上,边界框(bounding box)和分割注释(segmentation annotation)对于域来说并没有太大的区别,仅仅是后者比前者更精确。因此,因为Visual Genome数据集有3000个类,为什么不利用这个数据集来做实例分割呢?FAIR何恺明团队正是这样做的。这可以被称为弱监督(或弱半监督?)学习,也就是说你没法完全监督你想要实现的任务。它还可以与半监督相关联,因为它们都使用COCO + Visual Genome数据集。这篇论文是迄今为止最酷的。

8481c8f592b7f349aa84a1de5c171db681516edf 它是建立在 Mask-RCNN 之上的
8481c8f592b7f349aa84a1de5c171db681516edf 同时在有mask标注和无mask标注的输入上训练
8481c8f592b7f349aa84a1de5c171db681516edf 在mask和bbox mask之间添加一个 weight transfer函数
8481c8f592b7f349aa84a1de5c171db681516edf 当无mask标注的输入通过时,wseg 预测将于马萨卡 features相乘的权重;当有mask标注的输入通过时,不使用这个函数,代而使用一个简单的MLP。
8481c8f592b7f349aa84a1de5c171db681516edf 如下图所示。A是COCO数据集,B是VG。注意不同输入的两个不同路径。

由于没有注释可用,作者无法在VG数据集上显示精确度,因此他们把这个想法应用到可以证明结果的数据集上。PASCAL-VOC有20个类别,而且这些类别在COCO中都很常见。因此,他们使用VOC分类标签进行训练,并且只使用来自COCO的bbox标签对这20个类别进行训练。结果显示在COCO数据集中20个类的实例分割任务上。反之亦然,因为这两个数据集都有ground-truth。结果如下表所示:


References:

[1] Lin, Tsung-Yi, Piotr Dollár, Ross B. Girshick, Kaiming He, Bharath Hariharan and Serge J. Belongie. “Feature Pyramid Networks for Object Detection.” *2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)* (2017): 936-944.

[2] Lin, Tsung-Yi, Priya Goyal, Ross B. Girshick, Kaiming He and Piotr Dollár. “Focal Loss for Dense Object Detection.” *2017 IEEE International Conference on Computer Vision (ICCV)* (2017): 2999-3007.

[3] He, Kaiming, Georgia Gkioxari, Piotr Dollár and Ross B. Girshick. “Mask R-CNN.” *2017 IEEE International Conference on Computer Vision (ICCV)* (2017): 2980-2988.

[4] Hu, Ronghang, Piotr Dollár, Kaiming He, Trevor Darrell and Ross B. Girshick. “Learning to Segment Every Thing.” *CoRR*abs/1711.10370 (2017): n. pag.

[5] Ren, Shaoqing, Kaiming He, Ross B. Girshick and Jian Sun. “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks.” *IEEE Transactions on Pattern Analysis and Machine Intelligence* 39 (2015): 1137-1149.

[6] Chollet, François. “Xception: Deep Learning with Depthwise Separable Convolutions.” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2017): 1800-1807.

[7] Lin, Tsung-Yi, Michael Maire, Serge J. Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár and C. Lawrence Zitnick. “Microsoft COCO: Common Objects in Context.” ECCV (2014).

[8] Krasin, Ivan and Duerig, Tom and Alldrin, Neil and Ferrari, Vittorio et al. OpenImages: A public dataset for large-scale multi-label and multi-class image classification. Dataset available from https://github.com/openimages

[9] Krishna, Ranjay, Congcong Li, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, David A. Shamma, Michael S. Bernstein and Li Fei-Fei. “Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations.” International Journal of Computer Vision 123 (2016): 32-73.


原文发布时间为:2018-03-19
本文作者:krish  编译:肖琴
本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号
相关文章
|
2月前
|
机器学习/深度学习 人工智能 算法框架/工具
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第7天】本文将深入探讨卷积神经网络(CNN)的基本原理,以及它如何在图像识别领域中大放异彩。我们将从CNN的核心组件出发,逐步解析其工作原理,并通过一个实际的代码示例,展示如何利用Python和深度学习框架实现一个简单的图像分类模型。文章旨在为初学者提供一个清晰的入门路径,同时为有经验的开发者提供一些深入理解的视角。
|
24天前
|
机器学习/深度学习 人工智能 算法框架/工具
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第36天】探索卷积神经网络(CNN)的神秘面纱,揭示其在图像识别领域的威力。本文将带你了解CNN的核心概念,并通过实际代码示例,展示如何构建和训练一个简单的CNN模型。无论你是深度学习的初学者还是希望深化理解,这篇文章都将为你提供有价值的见解。
|
28天前
|
机器学习/深度学习 自然语言处理 前端开发
前端神经网络入门:Brain.js - 详细介绍和对比不同的实现 - CNN、RNN、DNN、FFNN -无需准备环境打开浏览器即可测试运行-支持WebGPU加速
本文介绍了如何使用 JavaScript 神经网络库 **Brain.js** 实现不同类型的神经网络,包括前馈神经网络(FFNN)、深度神经网络(DNN)和循环神经网络(RNN)。通过简单的示例和代码,帮助前端开发者快速入门并理解神经网络的基本概念。文章还对比了各类神经网络的特点和适用场景,并简要介绍了卷积神经网络(CNN)的替代方案。
|
2月前
|
机器学习/深度学习 Web App开发 人工智能
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》这篇论文提出了一种基于YOLOv3-Tiny的轻量级目标检测模型Micro-YOLO,通过渐进式通道剪枝和轻量级卷积层,显著减少了参数数量和计算成本,同时保持了较高的检测性能。
38 2
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
|
2月前
|
机器学习/深度学习 人工智能 自动驾驶
深度学习中的卷积神经网络(CNN)及其应用
【10月更文挑战第21天】本文旨在深入探讨深度学习领域的核心组成部分——卷积神经网络(CNN)。通过分析CNN的基本结构、工作原理以及在图像识别、语音处理等领域的广泛应用,我们不仅能够理解其背后的技术原理,还能把握其在现实世界问题解决中的强大能力。文章将用浅显的语言和生动的例子带领读者一步步走进CNN的世界,揭示这一技术如何改变我们的生活和工作方式。
|
2月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于贝叶斯优化CNN-LSTM网络的数据分类识别算法matlab仿真
本项目展示了基于贝叶斯优化(BO)的CNN-LSTM网络在数据分类中的应用。通过MATLAB 2022a实现,优化前后效果对比明显。核心代码附带中文注释和操作视频,涵盖BO、CNN、LSTM理论,特别是BO优化CNN-LSTM网络的batchsize和学习率,显著提升模型性能。
|
2月前
|
机器学习/深度学习 计算机视觉 网络架构
【YOLO11改进 - C3k2融合】C3k2融合YOLO-MS的MSBlock : 分层特征融合策略,轻量化网络结构
【YOLO11改进 - C3k2融合】C3k2融合YOLO-MS的MSBlock : 分层特征融合策略,轻量化网络结构
|
2月前
|
机器学习/深度学习 人工智能 监控
深入理解深度学习中的卷积神经网络(CNN):从原理到实践
【10月更文挑战第14天】深入理解深度学习中的卷积神经网络(CNN):从原理到实践
152 1
|
25天前
|
机器学习/深度学习 人工智能 自动驾驶
深入解析深度学习中的卷积神经网络(CNN)
深入解析深度学习中的卷积神经网络(CNN)
41 0
|
2月前
|
机器学习/深度学习 SQL 数据采集
基于tensorflow、CNN网络识别花卉的种类(图像识别)
基于tensorflow、CNN网络识别花卉的种类(图像识别)
43 1

热门文章

最新文章