DL之DeepLabv2:DeepLab v2算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

简介: DL之DeepLabv2:DeepLab v2算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

DeepLab v2算法的简介(论文介绍)


     DeepLabv2是DeepLabv1的改进版本,改进的不多,主要是用多尺度提取获得更好的分割效果。


Abstract

      In this work we address the task of semantic image segmentation with Deep Learning and make three main contributions  that are experimentally shown to have substantial practical merit. First, we highlight convolution with upsampled filters, or  ‘atrous convolution’, as a powerful tool in dense prediction tasks. Atrous convolution allows us to explicitly control the resolution at  which feature responses are computed within Deep Convolutional Neural Networks. It also allows us to effectively enlarge the field of  view of filters to incorporate larger context without increasing the number of parameters or the amount of computation. Second, we  propose atrous spatial pyramid pooling (ASPP) to robustly segment objects at multiple scales. ASPP probes an incoming convolutional  feature layer with filters at multiple sampling rates and effective fields-of-views, thus capturing objects as well as image context at  multiple scales. Third, we improve the localization of object boundaries by combining methods from DCNNs and probabilistic graphical  models. The commonly deployed combination of max-pooling and downsampling in DCNNs achieves invariance but has a toll on  localization accuracy. We overcome this by combining the responses at the final DCNN layer with a fully connected Conditional  Random Field (CRF), which is shown both qualitatively and quantitatively to improve localization performance. Our proposed  “DeepLab” system sets the new state-of-art at the PASCAL VOC-2012 semantic image segmentation task, reaching 79.7% mIOU in  the test set, and advances the results on three other datasets: PASCAL-Context, PASCAL-Person-Part, and Cityscapes. All of our code  is made publicly available online.

      本文研究了基于深度学习的语义图像分割问题,并提出了三个具有实际应用价值的主要研究方向。首先,我们强调卷积与上采样滤波器,或“atrous卷积”,在密集预测任务中是一个强大的工具。Atrous卷积允许我们显式地控制在深度卷积神经网络中计算特征响应的分辨率。它还允许我们有效地扩大过滤器的视野,在不增加参数数量或计算量的情况下合并更大的上下文。其次,提出了一种基于空间金字塔池化 (ASPP)的多尺度鲁棒分割方法。ASPP使用多个采样速率的过滤器和有效的视图字段探测传入的卷积特征层,从而在多个尺度上捕获对象和图像上下文。第三,结合DCNNs方法和概率图形模型,改进了目标边界的定位。DCNNs中常用的最大池和下采样的组合实现了不变性,但对定位精度有一定的影响。我们通过将DCNN最后一层的响应与一个完全连接的条件随机场(CRF)相结合来克服这个问题,该条件随机场在定性和定量上都显示出来,以提高定位性能。我们提出的“DeepLab”系统在PASCAL VOC-2012语义图像分割任务中设置了新的技术状态,在测试集中达到了79.7%的mIOU,并在其他三个数据集:PASCAL-Context, PASCAL-Person-Part,和Cityscapes上提出了结果。我们所有的代码都在网上公开。

CONCLUSION

      Our proposed “DeepLab” system re-purposes networks  trained on image classification to the task of semantic segmentation  by applying the ‘atrous convolution’ with upsampled  filters for dense feature extraction. We further extend it  to atrous spatial pyramid pooling, which encodes objects as  well as image context at multiple scales. To produce semantically  accurate predictions and detailed segmentation maps  along object boundaries, we also combine ideas from deep  convolutional neural networks and fully-connected conditional  random fields. Our experimental results show that  the proposed method significantly advances the state-ofart  in several challenging datasets, including PASCAL VOC  2012 semantic image segmentation benchmark, PASCALContext,  PASCAL-Person-Part, and Cityscapes datasets.

      我们提出的“DeepLab”系统将训练有素的图像分类网络重新用于语义分割任务,利用带上采样滤波器的“atrous convolution”进行密集特征提取。我们进一步将其扩展到空间金字塔池,它在多个尺度上编码对象和图像上下文。为了产生精确的语义预测和沿着目标边界的详细分割地图,我们还结合了深度卷积神经网络和全连通条件随机域的思想。实验结果表明,该方法在PASCAL VOC 2012语义图像分割基准测试、PASCALContext,  PASCAL-Person-Part和Cityscapes数据集等多个具有挑战性的数据集上都取得了显著的进步。


论文

Liang-ChiehChen, George Papandreou, IasonasKokkinos, Kevin Murphy, Alan L. Yuille.

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, AtrousConvolution,

and Fully Connected CRFs.

IEEE Transactions on Pattern Analysis and Machine Intelligence ( Volume: 40 , Issue: 4 , April 1 2018 )应该是2017

https://arxiv.org/abs/1606.00915



0、实验结果


1、基于VGG-16的DeepLabmodel中,ASPP对PASCAL VOC 2012 valset性能(平均IOU)的影响。


Effect of ASPP on PASCAL VOC 2012 valset performance (mean IOU) for VGG-16 based DeepLabmodel.




LargeFOV: single branch, r = 12 .

ASPP-S: four branches, r= { 2, 4, 8, 12 } .

ASPP-L: four branches, r = { 6, 12, 18, 24 } .

多尺度+大感受野可显著提高语义分割效果


2、PASCAL VOC 2012 valresults输入图像和论文中的DeepLabresults之前/之后的CRF


PASCAL VOC 2012 valresults. Input image and our DeepLabresults before/after CRF


image.png


3、ASPP与基线LargeFOV模型进行定性分割


Qualitative segmentation results with ASPP compared to the baseline LargeFOV model.

采用多个大FOV的ASPP-L模型可以成功捕获多个尺度的目标和图像上下文。


image.png


4、PASCAL VOC 2012测试集性能


Performance on PASCAL VOC 2012 test set

在NVidia Titan X GPU 上运行速度达到了8FPS,全连接CRF 平均推断需要0.5s ,在耗时方面和DeepLab-v1无差异,但在PASCAL VOC-2012 达到79.7 mIOU。


image.png



1、DeepLab-v2 改进点


(1)、用多尺度特征提取获得更好的分割效果


目标存在多尺度的问题,DeepLabv1中是用多个MLP结合多尺度特征解决,虽然可以提升系统的性能,但是增加了特征计算量和存储空间。

受到SpatialPyramidPooling(SPP)的启发,提出了一个类似的结构,在给定的输入上以不同采样率的空洞卷积并行采样,相当于以多个尺度捕捉图像的上下文,称为ASPP(atrousspatialpyramidpooling)模块。





DeepLab v2算法的架构详解


更新……





DeepLab v2算法的案例应用


更新……



相关文章
|
18天前
|
运维 Cloud Native 持续交付
深入理解云原生架构及其在现代企业中的应用
随着数字化转型的浪潮席卷全球,企业正面临着前所未有的挑战与机遇。云计算技术的迅猛发展,特别是云原生架构的兴起,正在重塑企业的IT基础设施和软件开发模式。本文将深入探讨云原生的核心概念、关键技术以及如何在企业中实施云原生策略,以实现更高效的资源利用和更快的市场响应速度。通过分析云原生架构的优势和面临的挑战,我们将揭示它如何助力企业在激烈的市场竞争中保持领先地位。
|
21天前
|
机器学习/深度学习 算法 数据挖掘
C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出
本文探讨了C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出。文章还介绍了C语言在知名机器学习库中的作用,以及与Python等语言结合使用的案例,展望了其未来发展的挑战与机遇。
39 1
|
21天前
|
并行计算 算法 测试技术
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
50 1
|
23天前
|
机器学习/深度学习 人工智能 算法
探索人工智能中的强化学习:原理、算法及应用
探索人工智能中的强化学习:原理、算法及应用
|
16天前
|
算法
基于WOA算法的SVDD参数寻优matlab仿真
该程序利用鲸鱼优化算法(WOA)对支持向量数据描述(SVDD)模型的参数进行优化,以提高数据分类的准确性。通过MATLAB2022A实现,展示了不同信噪比(SNR)下模型的分类误差。WOA通过模拟鲸鱼捕食行为,动态调整SVDD参数,如惩罚因子C和核函数参数γ,以寻找最优参数组合,增强模型的鲁棒性和泛化能力。
|
22天前
|
机器学习/深度学习 算法 Serverless
基于WOA-SVM的乳腺癌数据分类识别算法matlab仿真,对比BP神经网络和SVM
本项目利用鲸鱼优化算法(WOA)优化支持向量机(SVM)参数,针对乳腺癌早期诊断问题,通过MATLAB 2022a实现。核心代码包括参数初始化、目标函数计算、位置更新等步骤,并附有详细中文注释及操作视频。实验结果显示,WOA-SVM在提高分类精度和泛化能力方面表现出色,为乳腺癌的早期诊断提供了有效的技术支持。
|
2天前
|
供应链 算法 调度
排队算法的matlab仿真,带GUI界面
该程序使用MATLAB 2022A版本实现排队算法的仿真,并带有GUI界面。程序支持单队列单服务台、单队列多服务台和多队列多服务台三种排队方式。核心函数`func_mms2`通过模拟到达时间和服务时间,计算阻塞率和利用率。排队论研究系统中顾客和服务台的交互行为,广泛应用于通信网络、生产调度和服务行业等领域,旨在优化系统性能,减少等待时间,提高资源利用率。
|
10天前
|
存储 算法
基于HMM隐马尔可夫模型的金融数据预测算法matlab仿真
本项目基于HMM模型实现金融数据预测,包括模型训练与预测两部分。在MATLAB2022A上运行,通过计算状态转移和观测概率预测未来值,并绘制了预测值、真实值及预测误差的对比图。HMM模型适用于金融市场的时间序列分析,能够有效捕捉隐藏状态及其转换规律,为金融预测提供有力工具。
|
18天前
|
算法
基于GA遗传算法的PID控制器参数优化matlab建模与仿真
本项目基于遗传算法(GA)优化PID控制器参数,通过空间状态方程构建控制对象,自定义GA的选择、交叉、变异过程,以提高PID控制性能。与使用通用GA工具箱相比,此方法更灵活、针对性强。MATLAB2022A环境下测试,展示了GA优化前后PID控制效果的显著差异。核心代码实现了遗传算法的迭代优化过程,最终通过适应度函数评估并选择了最优PID参数,显著提升了系统响应速度和稳定性。
|
10天前
|
机器学习/深度学习 算法 信息无障碍
基于GoogleNet深度学习网络的手语识别算法matlab仿真
本项目展示了基于GoogleNet的深度学习手语识别算法,使用Matlab2022a实现。通过卷积神经网络(CNN)识别手语手势,如"How are you"、"I am fine"、"I love you"等。核心在于Inception模块,通过多尺度处理和1x1卷积减少计算量,提高效率。项目附带完整代码及操作视频。
下一篇
DataWorks