决策树是一个非常常见并且优秀的机器学习算法,它易于理解、可解释性强,其可作为分类算法,也可用于回归模型。本文将分三篇介绍决策树,根据不同分裂准则分为不同决策树,包括ID3、C4.5、CART。
不同决策树的节点分裂准则:
- 原始决策树节点分裂准则:节点内特征数量阈值,小于阈值,停止分裂
- 基于ID3算法的决策树节点分裂准则:信息增益,越大越好
- 基于C4.5算法的决策树节点分裂标准:信息增益比,越大越好
- 基于CART算法的决策树节点分裂标准:回归树,采用平方根误差最小化准则,分类树,采用基尼指数。越小越好