《深度学习》，又名“花书”。该书由三位大佬 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 撰写，是深度学习领域奠基性的经典教材，被誉为深度学习“圣经”。
原书内容非常充实，接近 800 页。读完之后，及时进行高度概括和经验总结是十分有帮助的。本文给大家介绍一份来自 Microsoft 计算机软件工程师 Jeff Macaluso 总结的关于花书的精髓笔记，我们一起来看一下吧！
笔记地址：
https://jeffmacaluso.github.io/post/DeepLearningRulesOfThumb/
为什么写这份笔记？
关于为什么写这份笔记，作者是这么说的：
当我在研究生院第一次学习神经网络时，我问我的教授在选择架构和超参数时是否有经验法则。我半以为他会回答：好吧，有点，但不是真的。毕竟对于神经网络来说，有比其他机器学习算法更多的选择！当我读到 Ian Goodfellow, Yoshua Bengio 和 Aaaron Courville 的《深度学习》一书时，我一直在思考这个问题，并决定编制一份贯穿这本书的知识清单。事实证明，它们还有很多，特别是它们可以完成很多类型的神经网络和任务。
如何评价这份笔记？
作者这样评价自己的这份笔记：
有趣的是，这些经验法则中有很多并没有很好地建立起来——深度学习仍然是一个相对较新的研究领域，因此下面列出的许多规则只是研究人员最近发现的一些东西。除此之外，在这本书中还有很多领域，作者会陈述（更多学术术语）“我们不知道为什么这是有效的，但我们可以看到它是有效的”或者“我们知道这不是最好的方法，但它是一个活跃的研究领域，我们目前不知道任何更好的方法”。
同时也对花书作了中肯的评价：
这不是一个深入学习的书评，但如果你想更深入地了解更成熟的方法以及研究的活跃领域（在出版时），我个人会推荐它。Fast.ai 的 Jeremy Howard（一个学习深入学习实践方面的优秀来源）批评了这本书，因为它过于关注数学和理论，但我发现除了我跳过的所有数学公式外，它还很好地解释了概念和实践方法背后的直觉。
笔记目录：
这份完整的精髓笔记目录包括：
1. 应用数学与机器学习基础
- 介绍
- 数值计算
- 机器学习基础
2. 深度网络：现代实践
- 深度前馈网络
- 深度学习中的正则化
- 深度模型中的优化
- 卷积网络
- 序列建模：循环和递归网络
- 实践和方法论
- 应用
3. 深度学习研究
- 线性因子模型
- 自编码器
- 表示学习
- 深度学习中的结构化概率模型
- 蒙特卡罗方法
- 近似推断
- 深度生成模型
同时，作者整理了笔记的精简版关键知识点 TR:DR，便于快速浏览。
