摘要：本部分主要介绍了深度学习的训练方法和技巧、深度学习的挑战和应对方法等问题。 最后结合眼下 AI 的研究进展，对深度学习领域深刻的“吐槽”了一番，妙趣横生且发人深省。
1.1 深度学习的训练方法和技巧
前面提到的 BN 方法还不能解决所有的 问题。 因为即便做了白化，激活函数的导 数的最大值也只有 0.25，如果层数成百上 千，0.25 不断连乘以后，将很快衰减为 0。 所以后来又涌现出一些更加直接、更加有 效的方法。其基本思路是在各层之间建立 更畅通的渠道，让信息流绕过非线性的激 活函数。这类工作包含 Highway Network、 LSTM、ResNet 等。
Highway Network 和 LSTM 一脉相承， 除了原来的非线性通路以外，增加了一个 由门电路控制的线性通路。两个通路同时 存在，而这两个通路到底谁开启或者多大 程度开启，由另外一个小的神经网络进行 控制。
相比之下，ResNet 的做法更加直接， 它不用门电路控制，而是直接增加总是开 通的线性通路。虽然这些方法的操作方式 不同，但是它们的基本出发点是一样的， 就是在一定程度上跳过非线性单元，以线 性的方式把残差传递下去，对神经网络模 型的参数进行有效的学习。
在前面提到的各项技术的帮助下，深层 神经网络的训练效果有了很大的提升。这 张图展示了网络不断加深、效果不断变好 的历史演变过程。2012 年 ImageNet 比赛中 脱颖而出的 AlexNet 只有 8 层，后来变成 19 层、22 层， 到 2015 年，ResNet 以 152 层的复杂姿态出场，赢得了 ImageNet 比赛 的冠军。
从这张图上可以看出，随着层数的不断 变深，图像的识别错误率不断下降，由此 看来，网络变深还是很有价值的。
到此为止，我们把深度学习及其训练方 法和技巧给大家做了一个非常简短的介绍。
