深度学习基础知识扫盲（1）：https://developer.aliyun.com/article/1390825?spm=a2c6h.13148508.setting.24.25ef4f0eINdJn3
Training Set/ Validation Set/ Test Set
训练集：用来训练w,b的参数。生成w,b。
交叉验证集、开发集、验证集：用来选择具体的模型。生成d。
测试集：要有泛化评估能力，不能参与参数生成。
高偏差/和高方差
左图是高偏差，右图是高方差。
高偏差不能只增大训练集数据量，没用！！
高方差可以增加训练集的数据量，来减小Jcv！！！
针对高方差和高偏差的解决方法：
如何
正则化项(Lambda)
正则化可以调整参数的权重，从而影响fit的效果。
Lambda越大，算法越试图保持平方项越小，正则化项的权重越大，对训练集实际的表现关注越少。（欠拟合）；Lambda越小，越过拟合。
基准性能水平
可以合理的希望学习算法最终达到的误差水平；建立基准性能水平常见的是：衡量人在这项任务上的表现；或者是对比其他相似的算法。
学习曲线（learning curves）
为什么训练集越大，训练集的损失函数越大？
以右面的图为例：数据越多，二次函数越难拟合数据，只有一个数据时，能完美拟合，但当数据越来越越多，损失函数就越大。
为什么验证集的损失函数越来越小呢？
因为训练集越大，越可能准确，因此验证集的损失函数会变小。
数据增强（data augmentation）
通过修改已有的数据，（图片放缩，反转，透视变换、扭曲失真）或者音频变换（添加背景噪音）来变成新的样例。通过这些方法，可以获得更多数据。
迁移学习（Transfer learning）
将别人训练好的模型和网络（包括参数，但不包括output layer的参数，因为结果不一样），完全复制过来，由于output lunits 不同，所以w5,b5不能用，因此用前4组w,b训练第五组‘或者仅仅复制网络，参数自己训练。
方法一：适用训练集较少的情况，数据不够。
方法二：使用训练集较多的情况，数据量充足，自己训练更好。
迁移学习的步骤：
准确率/召回率（Precision/recall）
（稀有病的预测）
Precision：预测的稀有病的准确率，如下表：（越高越好）
recall（）：在所有得病的人群中，被检测出有病的概率。越高越好。
如何权衡精度与召回率之间的关系：
高精度：更偏向于信任True
高召回：更偏向信任False
调和平均数（harmonic mean）
这种mean更加倾向于较小的平均数：
熵（Entrop）
表示一个样本的混乱程度，熵越大，样本越混乱，越不纯。
深度学习基础知识扫盲（3）：https://developer.aliyun.com/article/1390829?spm=a2c6h.13148508.setting.22.480c4f0e4XpETF
