DL之ResNet:ResNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

简介: DL之ResNet:ResNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

ResNet算法的简介


      来自微软研究院何恺明等 ,荣获ILSVRC2015的分类任务第一名、CVPR 2016 best paper 。ResNet使得训练深度达数百甚至数千层的网络成为可能,而且性能仍然优异,是深度学习算法中,一个里程碑式的网络。


Abstract  

   Deeper neural networks are more difficult to train. We  present a residual learning framework to ease the training  of networks that are substantially deeper than those used  previously. We explicitly reformulate the layers as learning  residual functions with reference to the layer inputs, instead  of learning unreferenced functions. We provide comprehensive  empirical evidence showing that these residual  networks are easier to optimize, and can gain accuracy from  considerably increased depth. On the ImageNet dataset we  evaluate residual nets with a depth of up to 152 layers—8×  deeper than VGG nets [41] but still having lower complexity.  An ensemble of these residual nets achieves 3.57% error  on the ImageNet test set. This result won the 1st place on the  ILSVRC 2015 classification task. We also present analysis  on CIFAR-10 with 100 and 1000 layers.  

   The depth of representations is of central importance  for many visual recognition tasks. Solely due to our extremely  deep representations, we obtain a 28% relative improvement  on the COCO object detection dataset. Deep  residual nets are foundations of our submissions to ILSVRC  & COCO 2015 competitions1  , where we also won the 1st  places on the tasks of ImageNet detection, ImageNet localization,  COCO detection, and COCO segmentation.

摘要

   更深层次的神经网络更难训练。我们提出了一个残差学习框架来简化网络的训练,这些网络比以前使用的网络要深入得多。我们显式地将层重新表示为参考层输入的学习剩余函数,而不是学习未引用的函数。我们提供了全面的经验证据表明,这些剩余网络更容易优化,并可以从大幅增加的深度获得精度。在ImageNet数据集上,我们评估了高达152层的residual网络—比VGG网络[41]深8倍,但仍然具有较低的复杂性。这些残差网的集合在ImageNet测试集上的误差达到3.57%,该结果在ILSVRC 2015年分类任务中获得第一名。我们还对CIFAR-10进行了100层和1000层的分析。

   在许多视觉识别任务中,表征的深度是至关重要的。仅仅由于我们的深度表示,我们获得了28%的相对改进的COCO对象检测数据集。深度残差网是我们参加ILSVRC & COCO 2015竞赛的基础,并在ImageNet检测、ImageNet定位、COCO检测、COCO分割等方面获得第一名。



1、比赛结果-ResNets @ ILSVRC & COCO 2015 Competitions


1st places in all five main tracks  五大tracks的第一名,并且大都远远超出第二名!


ImageNet Classification: “Ultra-deep” 152-layer nets  

ImageNet分类问题:“超深”152层网

ImageNet Detection: 16% better than 2nd

ImageNet检测问题:比第二名高16%

ImageNet Localization: 27% better than 2nd

ImageNet定位问题:比第二名好27%

COCO Detection: 11% better than 2nd

COCO检测问题:比第二名好11%

COCO Segmentation: 12% better than 2nd

COCO分割问题:比第二名好12%


2、ResNet的深度革命


  ResNet采用了很深的152层的网络,准确度脱颖而出,甚至比人的识别率还要高,比排行第二的GoogleNet网络准确度超出很多!

image.png







论文

Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun(2015): Deep Residual Learning for Image Recognition. arXiv:1512.03385 [cs] (December 2015).

Kaiming He, XiangyuZhang, ShaoqingRen, & Jian Sun.

“Deep Residual Learning for Image Recognition”. CVPR 2016(best paper award).

https://arxiv.org/abs/1512.03385




1、残差模块


增加了”短路”连接(shortcut connection)或称为跳跃连接(skip connection)

学习残差映射(residual mapping)而不是直接学习期望映射

瓶颈残差块,网络较深(大于50层)时使用后面这种(bottleneck)来提高效率

2、网络架构


plain network:基于VGG19的架构把网络增加到34层

Residual Network:plain network基础上增加残差模块

深度变化:34、50、101、152

3、实验结果


单个模型:top-5错误率为4.49%

ensemble:top-5错误率为3.57%



ResNet算法的架构详解


DL之ResNet:ResNet算法的架构详解


ResNet:方块对应【3*3】的卷积层,其特征在于引入了横跨层的快捷结构。

image.png

image.png









目录
打赏
0
0
0
0
1042
分享
相关文章
员工上网行为监控中的Go语言算法:布隆过滤器的应用
在信息化高速发展的时代,企业上网行为监管至关重要。布隆过滤器作为一种高效、节省空间的概率性数据结构,适用于大规模URL查询与匹配,是实现精准上网行为管理的理想选择。本文探讨了布隆过滤器的原理及其优缺点,并展示了如何使用Go语言实现该算法,以提升企业网络管理效率和安全性。尽管存在误报等局限性,但合理配置下,布隆过滤器为企业提供了经济有效的解决方案。
100 8
员工上网行为监控中的Go语言算法:布隆过滤器的应用
从集思录可转债数据探秘:Python与C++实现的移动平均算法应用
本文探讨了如何利用移动平均算法分析集思录提供的可转债数据,帮助投资者把握价格趋势。通过Python和C++两种编程语言实现简单移动平均(SMA),展示了数据处理的具体方法。Python代码借助`pandas`库轻松计算5日SMA,而C++代码则通过高效的数据处理展示了SMA的计算过程。集思录平台提供了详尽且及时的可转债数据,助力投资者结合算法与社区讨论,做出更明智的投资决策。掌握这些工具和技术,有助于在复杂多变的金融市场中挖掘更多价值。
39 12
基于 Python 的布隆过滤器算法在内网行为管理中的应用探究
在复杂多变的网络环境中,内网行为管理至关重要。本文介绍布隆过滤器(Bloom Filter),一种高效的空间节省型概率数据结构,用于判断元素是否存在于集合中。通过多个哈希函数映射到位数组,实现快速访问控制。Python代码示例展示了如何构建和使用布隆过滤器,有效提升企业内网安全性和资源管理效率。
44 9
|
1天前
|
探讨组合加密算法在IM中的应用
本文深入分析了即时通信(IM)系统中所面临的各种安全问题,综合利用对称加密算法(DES算法)、公开密钥算法(RSA算法)和Hash算法(MD5)的优点,探讨组合加密算法在即时通信中的应用。
12 0
解锁机器学习的新维度:元学习的算法与应用探秘
元学习作为一个重要的研究领域,正逐渐在多个应用领域展现其潜力。通过理解和应用元学习的基本算法,研究者可以更好地解决在样本不足或任务快速变化的情况下的学习问题。随着研究的深入,元学习有望在人工智能的未来发展中发挥更大的作用。
探索企业文件管理软件:Python中的哈希表算法应用
企业文件管理软件依赖哈希表实现高效的数据管理和安全保障。哈希表通过键值映射,提供平均O(1)时间复杂度的快速访问,适用于海量文件处理。在Python中,字典类型基于哈希表实现,可用于管理文件元数据、缓存机制、版本控制及快速搜索等功能,极大提升工作效率和数据安全性。
79 0
C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出
本文探讨了C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出。文章还介绍了C语言在知名机器学习库中的作用,以及与Python等语言结合使用的案例,展望了其未来发展的挑战与机遇。
83 1
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
101 1

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等