DL之DeepLabv2:DeepLab v2算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

简介: DL之DeepLabv2:DeepLab v2算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

DeepLab v2算法的简介(论文介绍)


     DeepLabv2是DeepLabv1的改进版本,改进的不多,主要是用多尺度提取获得更好的分割效果。


Abstract

      In this work we address the task of semantic image segmentation with Deep Learning and make three main contributions  that are experimentally shown to have substantial practical merit. First, we highlight convolution with upsampled filters, or  ‘atrous convolution’, as a powerful tool in dense prediction tasks. Atrous convolution allows us to explicitly control the resolution at  which feature responses are computed within Deep Convolutional Neural Networks. It also allows us to effectively enlarge the field of  view of filters to incorporate larger context without increasing the number of parameters or the amount of computation. Second, we  propose atrous spatial pyramid pooling (ASPP) to robustly segment objects at multiple scales. ASPP probes an incoming convolutional  feature layer with filters at multiple sampling rates and effective fields-of-views, thus capturing objects as well as image context at  multiple scales. Third, we improve the localization of object boundaries by combining methods from DCNNs and probabilistic graphical  models. The commonly deployed combination of max-pooling and downsampling in DCNNs achieves invariance but has a toll on  localization accuracy. We overcome this by combining the responses at the final DCNN layer with a fully connected Conditional  Random Field (CRF), which is shown both qualitatively and quantitatively to improve localization performance. Our proposed  “DeepLab” system sets the new state-of-art at the PASCAL VOC-2012 semantic image segmentation task, reaching 79.7% mIOU in  the test set, and advances the results on three other datasets: PASCAL-Context, PASCAL-Person-Part, and Cityscapes. All of our code  is made publicly available online.

      本文研究了基于深度学习的语义图像分割问题,并提出了三个具有实际应用价值的主要研究方向。首先,我们强调卷积与上采样滤波器,或“atrous卷积”,在密集预测任务中是一个强大的工具。Atrous卷积允许我们显式地控制在深度卷积神经网络中计算特征响应的分辨率。它还允许我们有效地扩大过滤器的视野,在不增加参数数量或计算量的情况下合并更大的上下文。其次,提出了一种基于空间金字塔池化 (ASPP)的多尺度鲁棒分割方法。ASPP使用多个采样速率的过滤器和有效的视图字段探测传入的卷积特征层,从而在多个尺度上捕获对象和图像上下文。第三,结合DCNNs方法和概率图形模型,改进了目标边界的定位。DCNNs中常用的最大池和下采样的组合实现了不变性,但对定位精度有一定的影响。我们通过将DCNN最后一层的响应与一个完全连接的条件随机场(CRF)相结合来克服这个问题,该条件随机场在定性和定量上都显示出来,以提高定位性能。我们提出的“DeepLab”系统在PASCAL VOC-2012语义图像分割任务中设置了新的技术状态,在测试集中达到了79.7%的mIOU,并在其他三个数据集:PASCAL-Context, PASCAL-Person-Part,和Cityscapes上提出了结果。我们所有的代码都在网上公开。

CONCLUSION

      Our proposed “DeepLab” system re-purposes networks  trained on image classification to the task of semantic segmentation  by applying the ‘atrous convolution’ with upsampled  filters for dense feature extraction. We further extend it  to atrous spatial pyramid pooling, which encodes objects as  well as image context at multiple scales. To produce semantically  accurate predictions and detailed segmentation maps  along object boundaries, we also combine ideas from deep  convolutional neural networks and fully-connected conditional  random fields. Our experimental results show that  the proposed method significantly advances the state-ofart  in several challenging datasets, including PASCAL VOC  2012 semantic image segmentation benchmark, PASCALContext,  PASCAL-Person-Part, and Cityscapes datasets.

      我们提出的“DeepLab”系统将训练有素的图像分类网络重新用于语义分割任务,利用带上采样滤波器的“atrous convolution”进行密集特征提取。我们进一步将其扩展到空间金字塔池,它在多个尺度上编码对象和图像上下文。为了产生精确的语义预测和沿着目标边界的详细分割地图,我们还结合了深度卷积神经网络和全连通条件随机域的思想。实验结果表明,该方法在PASCAL VOC 2012语义图像分割基准测试、PASCALContext,  PASCAL-Person-Part和Cityscapes数据集等多个具有挑战性的数据集上都取得了显著的进步。


论文

Liang-ChiehChen, George Papandreou, IasonasKokkinos, Kevin Murphy, Alan L. Yuille.

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, AtrousConvolution,

and Fully Connected CRFs.

IEEE Transactions on Pattern Analysis and Machine Intelligence ( Volume: 40 , Issue: 4 , April 1 2018 )应该是2017

https://arxiv.org/abs/1606.00915



0、实验结果


1、基于VGG-16的DeepLabmodel中,ASPP对PASCAL VOC 2012 valset性能(平均IOU)的影响。


Effect of ASPP on PASCAL VOC 2012 valset performance (mean IOU) for VGG-16 based DeepLabmodel.




LargeFOV: single branch, r = 12 .

ASPP-S: four branches, r= { 2, 4, 8, 12 } .

ASPP-L: four branches, r = { 6, 12, 18, 24 } .

多尺度+大感受野可显著提高语义分割效果


2、PASCAL VOC 2012 valresults输入图像和论文中的DeepLabresults之前/之后的CRF


PASCAL VOC 2012 valresults. Input image and our DeepLabresults before/after CRF


image.png


3、ASPP与基线LargeFOV模型进行定性分割


Qualitative segmentation results with ASPP compared to the baseline LargeFOV model.

采用多个大FOV的ASPP-L模型可以成功捕获多个尺度的目标和图像上下文。


image.png


4、PASCAL VOC 2012测试集性能


Performance on PASCAL VOC 2012 test set

在NVidia Titan X GPU 上运行速度达到了8FPS,全连接CRF 平均推断需要0.5s ,在耗时方面和DeepLab-v1无差异,但在PASCAL VOC-2012 达到79.7 mIOU。


image.png



1、DeepLab-v2 改进点


(1)、用多尺度特征提取获得更好的分割效果


目标存在多尺度的问题,DeepLabv1中是用多个MLP结合多尺度特征解决,虽然可以提升系统的性能,但是增加了特征计算量和存储空间。

受到SpatialPyramidPooling(SPP)的启发,提出了一个类似的结构,在给定的输入上以不同采样率的空洞卷积并行采样,相当于以多个尺度捕捉图像的上下文,称为ASPP(atrousspatialpyramidpooling)模块。





DeepLab v2算法的架构详解


更新……





DeepLab v2算法的案例应用


更新……



相关文章
|
2月前
|
数据采集 机器学习/深度学习 算法
|
2月前
|
数据采集 机器学习/深度学习 算法
【优秀设计案例】基于K-Means聚类算法的球员数据聚类分析设计与实现
本文通过K-Means聚类算法对NBA球员数据进行聚类分析,旨在揭示球员间的相似性和差异性,为球队管理、战术决策和球员评估提供数据支持,并通过特征工程和结果可视化深入理解球员表现和潜力。
【优秀设计案例】基于K-Means聚类算法的球员数据聚类分析设计与实现
|
2月前
|
搜索推荐 前端开发 数据可视化
【优秀python web毕设案例】基于协同过滤算法的酒店推荐系统,django框架+bootstrap前端+echarts可视化,有后台有爬虫
本文介绍了一个基于Django框架、协同过滤算法、ECharts数据可视化以及Bootstrap前端技术的酒店推荐系统,该系统通过用户行为分析和推荐算法优化,提供个性化的酒店推荐和直观的数据展示,以提升用户体验。
101 1
|
2月前
|
机器学习/深度学习 人工智能 算法
【人工智能】传统语音识别算法概述,应用场景,项目实践及案例分析,附带代码示例
传统语音识别算法是将语音信号转化为文本形式的技术,它主要基于模式识别理论和数学统计学方法。以下是传统语音识别算法的基本概述
57 2
|
2月前
|
机器学习/深度学习 算法 数据可视化
决策树算法介绍:原理与案例实现
决策树算法介绍:原理与案例实现
|
2月前
|
算法
突击面试:解密面试官的算法题集合
突击面试:解密面试官的算法题集合
|
2月前
|
机器学习/深度学习 算法 网络架构
神经网络架构殊途同归?ICML 2024论文:模型不同,但学习内容相同
【8月更文挑战第3天】《神经语言模型的缩放定律》由OpenAI研究人员完成并在ICML 2024发表。研究揭示了模型性能与大小、数据集及计算资源间的幂律关系,表明增大任一资源均可预测地提升性能。此外,论文指出模型宽度与深度对性能影响较小,较大模型在更多数据上训练能更好泛化,且能高效利用计算资源。研究提供了训练策略建议,对于神经语言模型优化意义重大,但也存在局限性,需进一步探索。论文链接:[https://arxiv.org/abs/2001.08361]。
34 1
|
3月前
|
算法
Raid5数据恢复—Raid5算法简介&raid5磁盘阵列数据恢复案例
Raid5算法也被称为“异或运算”。异或是一个数学运算符,它应用于逻辑运算。异或的数学符号为“⊕”,计算机符号为“xor”。异或的运算法则为:a⊕b = (¬a ∧ b) ∨ (a ∧¬b)。如果a、b两个值不相同,则异或结果为1。如果a、b两个值相同,异或结果为0。 异或也叫半加运算,其运算法则相当于不带进位的二进制加法。二进制下用1表示真,0表示假。异或的运算法则为:0⊕0=0,1⊕0=1,0⊕1=1,1⊕1=0(同为0,异为1),这些法则与加法是相同的,只是不带进位。 异或略称为XOR、EOR、EX-OR,程序中有三种演算子:XOR、xor、⊕。使用方法如下z = x ⊕ y z
Raid5数据恢复—Raid5算法简介&raid5磁盘阵列数据恢复案例
|
3月前
|
算法 搜索推荐 编译器
算法高手养成记:Python快速排序的深度优化与实战案例分析
【7月更文挑战第11天】快速排序是编程基础,以O(n log n)时间复杂度和原址排序著称。其核心是“分而治之”,通过选择基准元素分割数组并递归排序两部分。优化包括:选择中位数作基准、尾递归优化、小数组用简单排序。以下是一个考虑优化的Python实现片段,展示了随机基准选择。通过实践和优化,能提升算法技能。**
51 3
|
5天前
|
传感器 算法 C语言
基于无线传感器网络的节点分簇算法matlab仿真
该程序对传感器网络进行分簇,考虑节点能量状态、拓扑位置及孤立节点等因素。相较于LEACH算法,本程序评估网络持续时间、节点死亡趋势及能量消耗。使用MATLAB 2022a版本运行,展示了节点能量管理优化及网络生命周期延长的效果。通过簇头管理和数据融合,实现了能量高效和网络可扩展性。
下一篇
无影云桌面