开发者社区> 问答> 正文

过度拟合产生的原因

过度拟合产生的原因

展开
收起
珍宝珠 2019-11-26 16:41:34 1428 0
1 条回答
写回答
取消 提交回答
  • 过拟合的第一个原因,就是建模样本抽取错误,包括(但不限于)样本数量太少, 抽样方法错误,抽样时没有足够正确考虑业务场景或业务特点,等等导致抽出 的样本数据不能有效足够代表业务逻辑或业务场景;

    过拟合的第二个原因,就是样本里的噪音数据干扰过大,大到模型过分记住了噪音 特征,反而忽略了真实的输入输出间的关系;

    过拟合的第三个原因,就是在决策树模型搭建中,如果我们对于决策树的生长没有 合理的限制和修剪的话,决策树的自由生长有可能每片叶子里只包含单纯的事件 数据(event)或非事件数据(no event),可以想象,这种决策树当然可以完 美匹配(拟合)训练数据,但是一旦应用到新的业务真实数据时,效果是一塌糊涂。

    过拟合的第四个原因,就是建模时的“逻辑假设”到了模型应用时已经不能成立了。任 何预测模型都是在假设的基础上才可以搭建和应用的,常用的假设包括:假设历 史数据可以推测未来,假设业务环节没有发生显著变化,假设建模数据与后来的 应用数据是相似的,等等。如果上述假设违反了业务场景的话,根据这些假设搭 建的模型当然是无法有效应用的。

    过拟合的第五个原因,就是建模时使用了太多的输入变量,这跟上面第二点(噪音数据) 有些类似,数据挖掘新人常常犯这个错误,自己不做分析判断,把所有的变量交给 软件或者机器去“撞大运”。须知,一个稳定优良的模型一定要遵循建模输入变量“ 少而精”的原则的。

    上面的原因都是现象,但是其本质只有一个,那就是“业务理解错误造成的”,无论是抽样, 还是噪音,还是决策树,神经网络等等,如果我们对于业务背景和业务知识非常了解, 非常透彻的话,一定是可以避免绝大多数过拟合现象产生的。因为在模型从确定需求, 到思路讨论,到搭建,到业务应用验证,各个环节都是可以用业务敏感来防止过拟合 于未然的。

    2019-11-26 16:41:53
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
理解过拟合 立即下载
安全值-量化安全风险 立即下载
低代码开发师(初级)实战教程 立即下载