深度学习基础知识扫盲(1):https://developer.aliyun.com/article/1390825?spm=a2c6h.13148508.setting.24.25ef4f0eINdJn3
Training Set/ Validation Set/ Test Set
训练集:用来训练w,b的参数。生成w,b。
交叉验证集、开发集、验证集:用来选择具体的模型。生成d。
测试集:要有泛化评估能力,不能参与参数生成。
高偏差/和高方差
左图是高偏差,右图是高方差。
高偏差不能只增大训练集数据量,没用!!
高方差可以增加训练集的数据量,来减小Jcv!!!
针对高方差和高偏差的解决方法:
如何
正则化项(Lambda)
正则化可以调整参数的权重,从而影响fit的效果。
Lambda越大,算法越试图保持平方项越小,正则化项的权重越大,对训练集实际的表现关注越少。(欠拟合);Lambda越小,越过拟合。
基准性能水平
可以合理的希望学习算法最终达到的误差水平;建立基准性能水平常见的是:衡量人在这项任务上的表现;或者是对比其他相似的算法。
学习曲线(learning curves)
为什么训练集越大,训练集的损失函数越大?
以右面的图为例:数据越多,二次函数越难拟合数据,只有一个数据时,能完美拟合,但当数据越来越越多,损失函数就越大。
为什么验证集的损失函数越来越小呢?
因为训练集越大,越可能准确,因此验证集的损失函数会变小。
数据增强(data augmentation)
通过修改已有的数据,(图片放缩,反转,透视变换、扭曲失真)或者音频变换(添加背景噪音)来变成新的样例。通过这些方法,可以获得更多数据。
迁移学习(Transfer learning)
将别人训练好的模型和网络(包括参数,但不包括output layer的参数,因为结果不一样),完全复制过来,由于output lunits 不同,所以w5,b5不能用,因此用前4组w,b训练第五组‘或者仅仅复制网络,参数自己训练。
方法一:适用训练集较少的情况,数据不够。
方法二:使用训练集较多的情况,数据量充足,自己训练更好。
迁移学习的步骤:
准确率/召回率(Precision/recall)
(稀有病的预测)
Precision:预测的稀有病的准确率,如下表:(越高越好)
recall():在所有得病的人群中,被检测出有病的概率。越高越好。
如何权衡精度与召回率之间的关系:
高精度:更偏向于信任True
高召回:更偏向信任False
调和平均数(harmonic mean)
这种mean更加倾向于较小的平均数:
熵(Entrop)
表示一个样本的混乱程度,熵越大,样本越混乱,越不纯。
深度学习基础知识扫盲(3):https://developer.aliyun.com/article/1390829?spm=a2c6h.13148508.setting.22.480c4f0e4XpETF