吴恩达《机器学习》课程总结(10)应用机器学习的建议-阿里云开发者社区

开发者社区> 人工智能> 正文

吴恩达《机器学习》课程总结(10)应用机器学习的建议

简介: 10.1决定下一步该干什么 当系统的效果很差时,你可能考虑到收集更多的样本,也可能: (1)尝试减少特征的数量; (2)尝试获得更多的特征; (3)尝试增加多项式特征; (4)尝试减少正则化程度λ; (5)尝试增加正则化程度λ。

10.1决定下一步该干什么

当系统的效果很差时,你可能考虑到收集更多的样本,也可能:

(1)尝试减少特征的数量;

(2)尝试获得更多的特征;

(3)尝试增加多项式特征;

(4)尝试减少正则化程度λ;

(5)尝试增加正则化程度λ。

如果做决策将是本章的内容。而不是盲目的选择一种策略。

10.2评估一个假设

将数据集分为训练集和测试集,在测试集上计算误差:

(1)对于线性回归模型,我们利用测试集数据计算代价函数J;

(2)对于逻辑回归模型,不仅可以利用测试集计算代价函数外,还可以利用误分类的比率来计算结果:

10.3模型选择和交叉验证集

将数据集按照8:2:2分为训练集,交叉验证集和测试集。

模型选择的方法:

(1)使用训练集训练处10个模型;

(2)用10个模型分别对交叉验证集计算得出交叉验证集误差;

(3)选取 代价函数数值最小的模型;

(4)用步骤3中选出的模型对测试集计算得出推广误差。

10.4诊断偏差和方差

(1)偏差(欠拟合)、方差(过拟合)

(2)误差随多项式次数的关系

次数低时,训练误差和验证误差都大,欠拟合;次数高时,训练误差小,验证误差大,过拟合。

训练误差和验证误差相近时,欠拟合;验证误差高于训练误差时过拟合。

10.5正则化和偏差/方差

(1)正则化的影响:

(2)λ的选择(以2为倍数增加,如0,0.01,0.02,0.04,0.08,0.16,0.32……): 

1.使用训练集训练出12个不同程度的正则化模型;

2.用12个模型分别对交叉验证集计算出交叉验证误差;

3.选择得出交叉验证误差最小的模型;

4.运用步骤3中选出模型对测试集计算得出推广误差。

(3)训练误差和验证误差与λ的关系:

10.6学习曲线

(1)学习曲线是将训练误差和交叉验证集误差作物训练样本数量(m)的函数绘制的图表:

(2)训练误差很大,高偏差(增加数据不会有改观)

(3)验证集误差与训练集误差相差很大,高方差(增加数据可以提高算法效果)

10.7决定下一步做什么

通过以上的诊断,下面是一些策略:

(1)获得更多的训练实例——解决高方差

(2)尝试减少特征的数量——解决高方差

(3)尝试获得更多的特征——解决高偏差

(4)尝试增加多项式——阶段高偏差

(5)尝试减小正则化程度——解决高偏差

(6)尝试增加正则化程度——解决高方差

一般使用较大的网络加上正则化会比使用小网络更有效。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章