【机器学习】不同决策树的节点分裂准则(属性划分标准)

简介: 决策树的不同节点分裂准则,包括原始决策树的节点分裂准则、ID3算法的信息增益、C4.5算法的信息增益比以及CART算法的平方根误差最小化和基尼指数。

决策树是一个非常常见并且优秀的机器学习算法,它易于理解、可解释性强,其可作为分类算法,也可用于回归模型。本文将分三篇介绍决策树,根据不同分裂准则分为不同决策树,包括ID3、C4.5、CART。


不同决策树的节点分裂准则:


  • 原始决策树节点分裂准则:节点内特征数量阈值,小于阈值,停止分裂
  • 基于ID3算法的决策树节点分裂准则:信息增益,越大越好
  • 基于C4.5算法的决策树节点分裂标准:信息增益比,越大越好
  • 基于CART算法的决策树节点分裂标准:回归树,采用平方根误差最小化准则,分类树,采用基尼指数。越小越好


目录
相关文章
|
5月前
|
机器学习/深度学习 Python
【机器学习】包裹式特征选择之递归特征消除法
【机器学习】包裹式特征选择之递归特征消除法
919 4
|
5月前
|
机器学习/深度学习 数据采集 监控
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
830 0
|
16天前
|
机器学习/深度学习 算法 数据建模
【机器学习】类别不平衡数据的处理
【机器学习】类别不平衡数据的处理
|
2月前
|
机器学习/深度学习 算法 数据挖掘
【数据挖掘】 GBDT面试题:其中基分类器CART回归树,节点的分裂标准是什么?与RF的区别?与XGB的区别?
文章讨论了梯度提升决策树(GBDT)中的基分类器CART回归树的节点分裂标准,并比较了GBDT与随机森林(RF)和XGBoost(XGB)的区别,包括集成学习方式、偏差-方差权衡、样本使用、并行性、最终结果融合、数据敏感性以及泛化能力等方面的不同。
46 1
|
3月前
|
机器学习/深度学习 数据采集 数据挖掘
Python实现深度神经网络gcForest(多粒度级联森林)分类模型
Python实现深度神经网络gcForest(多粒度级联森林)分类模型
Python实现深度神经网络gcForest(多粒度级联森林)分类模型
|
3月前
|
算法 Python
关联规则挖掘是一种在大型数据集中发现项集之间有趣关系的方法。
关联规则挖掘是一种在大型数据集中发现项集之间有趣关系的方法。
|
5月前
|
机器学习/深度学习 数据可视化
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
|
5月前
R语言中使用线性模型、回归决策树自动组合特征因子水平
R语言中使用线性模型、回归决策树自动组合特征因子水平
|
机器学习/深度学习 人工智能
【机器学习】信息量、香农熵、信息增益(增加例子,方便理解)
【机器学习】信息量、香农熵、信息增益(增加例子,方便理解)
238 0
|
机器学习/深度学习 JavaScript 算法
机器学习 -决策树算法中子数据集的划分
本文介绍机器学习 -决策树算法中,子数据集的划分及其Python实现
92 0