ML之GB：GB算法相关论文、相关思路、关键步骤、代码实现、配图集合、案例应用之详细攻略（一）

GB算法相关文献、论文

后期更新……

GB算法关键步骤

后期更新……

1、算法流程

GB算法代码实现

1、Scikit-learn中的 GBM

sklearn.ensemble.GradientBoostingClassifier(loss='deviance', learning_rate=0.1,

                                           n_estimators=100,

                                           subsample=1.0, criterion='friedman_mse',

                                           min_samples_split=2, min_samples_leaf=1,

                                           min_weight_fraction_leaf=0.0, max_depth=3,

                                           min_impurity_split=1e-07,

                                           init=None, random_state=None, max_features=None,

                                           verbose=0, max_leaf_nodes=None,

                                           warm_start=False, presort='auto')

参数 说明

loss 待优化的目标函数，‘deviance’表示采用logistic损失，输出概率值；‘exponential’ 表示采用指数损失。缺省‘deviance’

learning_rate 学习率或收缩因子。学习率和迭代次数／弱分类器数目n_estimators相关。 缺省：0.1

n_estimators 当数／弱分类器数目. 缺省:100

subsample 学习单个弱学习器的样本比例。缺省为：1.0

(1)、由于弱学习器为CART，所以很多参数与树模型的参数相同。

(2)、其中(loss='deviance', learning_rate=0.1, n_estimators=100, subsample=1.0, 这些参数主要关于弱学习器组合。