DL之FCN:FCN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

简介: DL之FCN:FCN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

FCN算法的简介(论文介绍)


       Faster-RCNN中,曾使用了RPN(Region Proposal Network)替代Selective Search等产生候选区域的方法,其中,RPN就是一种全卷积网络。FCN即Fully Convolutional Networks,该论文将CNN结构应用到图像语义分割领域,并取得突出结果,开山之作,获得CVPR 2015年的best paper honorable mention。


Abstract

     Convolutional networks are powerful visual models that yield hierarchies of features. We show that convolutional networks  by themselves, trained end-to-end, pixels-to-pixels, improve on the previous best result in semantic segmentation. Our key insight is to  build “fully convolutional” networks that take input of arbitrary size and produce correspondingly-sized output with efficient inference  and learning. We define and detail the space of fully convolutional networks, explain their application to spatially dense prediction  tasks, and draw connections to prior models. We adapt contemporary classification networks (AlexNet, the VGG net, and GoogLeNet)  into fully convolutional networks and transfer their learned representations by fine-tuning to the segmentation task. We then define a  skip architecture that combines semantic information from a deep, coarse layer with appearance information from a shallow, fine layer  to produce accurate and detailed segmentations. Our fully convolutional network achieves improved segmentation of PASCAL VOC  (30% relative improvement to 67.2% mean IU on 2012), NYUDv2, SIFT Flow, and PASCAL-Context, while inference takes one tenth of  a second for a typical image.

     卷积网络是一种功能强大的可视化模型,它可以生成特性的层次结构。实验结果表明,卷积网络经过端到端、像素对像素的训练后,在语义分割方面优于已有的最佳分割效果。我们的核心理念是构建“全卷积”网络,它可以接受任意大小的输入,并通过高效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并将它们与之前的模型联系起来。我们将当代的分类网络(AlexNet、VGG net和GoogLeNet)改造成完全卷积的网络,并通过微调将它们的学习表示转移到分割任务中。然后,我们定义了一个skip架构,它结合了来自深度粗层的语义信息和来自深度细层的外观信息,从而生成精确而详细的分段。我们的全卷积网络实现了PASCAL VOC(相对于2012年的67.2% mean IU,提高了30%)、NYUDv2、SIFT Flow和PASCAL- context的分割,而对一个典型图像的推理需要十分之一秒。

CONCLUSION  

     Fully convolutional networks are a rich class of models that  address many pixelwise tasks. FCNs for semantic segmentation  dramatically improve accuracy by transferring pretrained  classifier weights, fusing different layer representations,  and learning end-to-end on whole images. End-toend,  pixel-to-pixel operation simultaneously simplifies and  speeds up learning and inference. All code for this paper is  open source in Caffe, and all models are freely available in  the Caffe Model Zoo. Further works have demonstrated the  generality of fully convolutional networks for a variety of  image-to-image tasks.

     全卷积网络是一类丰富的模型,可以处理许多像素级的任务。FCNs通过传递预先训练的分类器权值,融合不同的层表示,对整个图像进行端到端学习,大大提高了语义分割的精度。端到端,像素对像素的操作同时简化和加快学习和推理。本文的所有代码都是Caffe中的开源代码,所有模型都可以在Caffe Model Zoo中免费获得。进一步的工作证明了全卷积网络对于各种图像到图像任务的通用性。



论文

Jonathan Long, Evan Shelhamer, Trevor Darrell.

Fully Convolutional Networks for Semantic Segmentation. CVPR 2015

https://arxiv.org/abs/1605.06211




0、实验结果


1、FCN的性能

image.png


图像分割的评价指标参考:CV之IS:计算机视觉之图像分割(Image Segmentation)算法的简介、使用方法、案例应用之详细攻略


       FCN的基础CNN网络可以采用AlexNet、VGG16、GoogleNet等经典架构。

      FCN的mean IU是最高的但是foreard time处理时间较长且conv.ayer的复杂度较高。

      比较R-CNN和FCN-8s的测试时间,其中FCN-8s的mean IU高于其他两个网络。


2、跨层改善效果——比较是否采用跨层连接


      第一张图没有采用跨层连接,即no skips(stride=32)分割的FCN,就比较粗糙了;第二张图采用skip=1的跨层连接(stride=16)的FCN有点改善了;第三张图采用skip=2的跨层连接的FCN效果更好一些。



image.png




1、全卷积神经网络的特点、局限性、缺点


1、FCN的特点


image.png


采用1×1卷积,替换全连接层,将CNN网络变成FCN(全卷积网络)。

采用跨层连接,引入底层特征补充上采样信息。

……



2、FCN的局限性


……






FCN算法的架构详解



DL之FCN:FCN算法的架构详解https://yunyaniu.blog.csdn.net/article/details/100060860







相关文章
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的优化算法及其应用
本文旨在探讨深度学习中常用的优化算法,包括梯度下降、动量方法、AdaGrad、RMSProp和Adam等。通过分析每种算法的原理、优缺点及适用场景,揭示它们在训练深度神经网络过程中的关键作用。同时,结合具体实例展示这些优化算法在实际应用中的效果,为读者提供选择合适优化算法的参考依据。
|
13天前
|
算法 前端开发 机器人
一文了解分而治之和动态规则算法在前端中的应用
该文章详细介绍了分而治之策略和动态规划算法在前端开发中的应用,并通过具体的例子和LeetCode题目解析来说明这两种算法的特点及使用场景。
一文了解分而治之和动态规则算法在前端中的应用
|
19天前
|
算法 调度
贪心算法基本概念与应用场景
尽管贪心算法在许多问题中都非常有效,但它并不总是会产生最优解。因此,在应用贪心算法前,重要的是先分析问题是否适合采用贪心策略。一些问题可能需要通过动态规划或回溯等其他算法来解决,以找到确切的全局最优解。
50 1
WK
|
22天前
|
机器学习/深度学习 算法 数据挖掘
PSO算法的应用场景有哪些
粒子群优化算法(PSO)因其实现简单、高效灵活,在众多领域广泛应用。其主要场景包括:神经网络训练、工程设计、电力系统经济调度与配电网络重构、数据挖掘中的聚类与分类、控制工程中的参数整定、机器人路径规划、图像处理、生物信息学及物流配送和交通管理等。PSO能处理复杂优化问题,快速找到全局最优解或近似解,展现出强大的应用潜力。
WK
24 1
|
1月前
|
机器学习/深度学习 算法 Python
群智能算法:深入解读人工水母算法:原理、实现与应用
近年来,受自然界生物行为启发的优化算法备受关注。人工水母算法(AJSA)模拟水母在海洋中寻找食物的行为,是一种新颖的优化技术。本文详细解读其原理及实现步骤,并提供代码示例,帮助读者理解这一算法。在多模态、非线性优化问题中,AJSA表现出色,具有广泛应用前景。
|
13天前
|
算法 前端开发
一文了解贪心算法和回溯算法在前端中的应用
该文章深入讲解了贪心算法与回溯算法的原理及其在前端开发中的具体应用,并通过分析LeetCode题目来展示这两种算法的解题思路与实现方法。
|
1月前
|
机器学习/深度学习 算法 数据挖掘
R语言中的支持向量机(SVM)与K最近邻(KNN)算法实现与应用
【9月更文挑战第2天】无论是支持向量机还是K最近邻算法,都是机器学习中非常重要的分类算法。它们在R语言中的实现相对简单,但各有其优缺点和适用场景。在实际应用中,应根据数据的特性、任务的需求以及计算资源的限制来选择合适的算法。通过不断地实践和探索,我们可以更好地掌握这些算法并应用到实际的数据分析和机器学习任务中。
|
2月前
|
算法 C++
A : DS串应用–KMP算法
这篇文章提供了KMP算法的C++实现,包括计算模式串的next数组和在主串中查找模式串位置的函数,用于演示KMP算法的基本应用。
|
2月前
|
缓存 算法 前端开发
深入理解缓存淘汰策略:LRU和LFU算法的解析与应用
【8月更文挑战第25天】在计算机科学领域,高效管理资源对于提升系统性能至关重要。内存缓存作为一种加速数据读取的有效方法,其管理策略直接影响整体性能。本文重点介绍两种常用的缓存淘汰算法:LRU(最近最少使用)和LFU(最不经常使用)。LRU算法依据数据最近是否被访问来进行淘汰决策;而LFU算法则根据数据的访问频率做出判断。这两种算法各有特点,适用于不同的应用场景。通过深入分析这两种算法的原理、实现方式及适用场景,本文旨在帮助开发者更好地理解缓存管理机制,从而在实际应用中作出更合理的选择,有效提升系统性能和用户体验。
95 1
|
2月前
|
数据采集 搜索推荐 算法
【高手进阶】Java排序算法:从零到精通——揭秘冒泡、快速、归并排序的原理与实战应用,让你的代码效率飙升!
【8月更文挑战第21天】Java排序算法是编程基础的重要部分,在算法设计与分析及实际开发中不可或缺。本文介绍内部排序算法,包括简单的冒泡排序及其逐步优化至高效的快速排序和稳定的归并排序,并提供了每种算法的Java实现示例。此外,还探讨了排序算法在电子商务、搜索引擎和数据分析等领域的广泛应用,帮助读者更好地理解和应用这些算法。
26 0