雷锋网按：为了方便读者学习和收藏，雷锋网(公众号：雷锋网)特地把吴恩达教授在NIPS 2016大会中的PPT做为中文版，由三川和亚峰联合编译并制作。
今日，在第 30 届神经信息处理系统大会（NIPS 2016）中，百度首席科学家吴恩达教授发表演讲：《利用深度学习开发人工智能应用的基本要点（Nuts and Bolts of Building Applications using Deep Learning）》。
此外，吴恩达教授曾在今年 9 月 24/25 日也发表过同为《Nuts and Bolts of Applying Deep Learning》的演讲(1小时20分钟)，以下是 YouTube 链接：
https://www.youtube.com/watch?v=F1ka6a13S9I
一、深度学习为何崛起
吴恩达在开场提到：深度学习为何这么火？
答案很简单：
第一是因为规模正在推动深度学习的进步。
从传统算法到小型神经网络、中型神经网络最后演化为现在的大型神经网络。
第二：端到端学习的崛起
从下图中的上半部分可以看出，传统端到端学习是把实体数据表达成数字数据，输出数字值作为结果。如退昂识别最后以整数标签输出为结果。
而现在的端对端学习更为直接纯粹，如机器翻译：输入英语文本，输出法语文本；语音识别：输入音频，输出文本。但端对端学习需要大量的训练集。
吴恩达先讲述了常见的深度学习模型，然后再着分析端到端学习的具体应用。
二、主要的深度学习模型
-
普通神经网络
-
顺序模型 (1D 顺序) RNN, GRU, LSTM, CTC, 注意力模型
-
图像模型 2D 和 3D 卷积神经网络
-
先进/未来 技术：无监督学习（稀疏编码 ICA, SFA,）增强学习
三、端到端学习应用案例
-
语音识别
传统模型：语音→运算特征—（人工设计的 MFCC 特征）→音素识别器—（音素识别）→最终识别器→输出。
端到端学习：音频→学习算法→转录结果；在给定了足够的有标注数据（音频、转录结果）时，这种方法的效果会很好。
-
自动驾驶
传统模型：摄像头图像→检测汽车+检测行人→路径规划→方向控制。
端到端学习：摄像头图像→学习算法→方向控制。
自动驾驶对安全有极高要求，因此需要极高的精确度。采取纯粹的端到端学习十分有挑战性。只在有足够（x，y）的数据，来学习足够复杂的函数的情况下，端到端学习才有效果。
四、机器学习策略
你经常有很多改进 AI 系统的主意，应该怎么做？好的战略能避免浪费数月精力做无用的事。
以语音识别为例，可以把原语音数据分割成：
-
60% 训练集（训练模型）
-
20% 开发集（开发过程中用于调参、验证等步骤的数据集）
-
20% 测试集（测试时所使用的数据集）
这里面普及几个概念：
人类水平的误差与训练集的误差之间的差距是可避免的偏差，这部分误差可以通过进一步的学习/模型调整优化来避免。
训练集和开发集之间的差距称为方差，其因为跑了不同的数据从而导致误差率变化。
上述两种偏差合在一起，就是偏差-方差权衡（bias-variance trade-off）。
-
机器学习的基本方案
-
自动数据合成示例
-
不同训练、测试集的分布
假设你想要为一个汽车后视镜产品，开发语音识别系统。你有 5000 小时的普通语音数据，还有 10 小时的车内数据。你怎么对数据分组呢？这是一个不恰当的方式：
-
不同训练和测试集分配
更好的方式：让开发和测试集来自同样的分配机制。
五、机器学习新方案
-
普通人类、偏差、方差分析
-
人类的表现水平
当机器学习在处理某项任务上比人类表现还差时，你经常会看到最快的进步。
机器学习超越人后，很快就会靠近贝叶斯最优误差线。
可以依靠人类的直觉：（i）人类提供加标签的数据。（ii）进行错误分析，来理解人是怎么对样本正确处理的（iii）预估偏差/方差。比如，一项图像识别任务的训练误差 8%， 开发误差 10%，你应该怎么处理？
六、人工智能产品管理
新的监督DL算法的存在，意味着对使用 DL开发应用的团队合作，我们在重新思考工作流程。产品经理能帮助 AI 团队，优先进行最出成果的机器学习任务。比如，对于汽车噪音、咖啡馆的谈话声、低带宽音频、带口音的语音，你是应该提高语音效果呢，还是改善延迟，缩小二进制，还是做别的什么？
今天的人工智能能做什么呢？这里给产品经理一些启发：
如果一个普通人完成一项智力任务只需不到一秒的思考时间，我们很可能现在，或者不远的将来，用 AI 把该任务自动化。
对于我们观察到的具体的、重复性的事件（比如用户点击广告；快递花费的时间），我们可以合理地预测下一个事件的结果（用户是否点击下一个此类广告）。
-
产品经理和研究员、工程师该如何分工
七、吴恩达新书推荐
