中国人工智能学会通讯——迎接深度学习的“大”挑战(下) 1.1 深度学习的训练方法和技巧-阿里云开发者社区

开发者社区> 人工智能> 正文

中国人工智能学会通讯——迎接深度学习的“大”挑战(下) 1.1 深度学习的训练方法和技巧

简介:

image

摘要:本部分主要介绍了深度学习的训练方法和技巧、深度学习的挑战和应对方法等问题。 最后结合眼下 AI 的研究进展,对深度学习领域深刻的“吐槽”了一番,妙趣横生且发人深省。

1.1 深度学习的训练方法和技巧

image

前面提到的 BN 方法还不能解决所有的 问题。 因为即便做了白化,激活函数的导 数的最大值也只有 0.25,如果层数成百上 千,0.25 不断连乘以后,将很快衰减为 0。 所以后来又涌现出一些更加直接、更加有 效的方法。其基本思路是在各层之间建立 更畅通的渠道,让信息流绕过非线性的激 活函数。这类工作包含 Highway Network、 LSTM、ResNet 等。

image

Highway Network 和 LSTM 一脉相承, 除了原来的非线性通路以外,增加了一个 由门电路控制的线性通路。两个通路同时 存在,而这两个通路到底谁开启或者多大 程度开启,由另外一个小的神经网络进行 控制。

image

相比之下,ResNet 的做法更加直接, 它不用门电路控制,而是直接增加总是开 通的线性通路。虽然这些方法的操作方式 不同,但是它们的基本出发点是一样的, 就是在一定程度上跳过非线性单元,以线 性的方式把残差传递下去,对神经网络模 型的参数进行有效的学习。

image

在前面提到的各项技术的帮助下,深层 神经网络的训练效果有了很大的提升。这 张图展示了网络不断加深、效果不断变好 的历史演变过程。2012 年 ImageNet 比赛中 脱颖而出的 AlexNet 只有 8 层,后来变成 19 层、22 层, 到 2015 年,ResNet 以 152 层的复杂姿态出场,赢得了 ImageNet 比赛 的冠军。

image

从这张图上可以看出,随着层数的不断 变深,图像的识别错误率不断下降,由此 看来,网络变深还是很有价值的。

到此为止,我们把深度学习及其训练方 法和技巧给大家做了一个非常简短的介绍。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章