2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。

Boosting提升树

Boosting思想主要是采用将模型进行串行组合的思想，利用多个弱学习器来学习我们的数据进而形成一个强大的学习器，像AdaBoost就是将我们的基分类器进行线性组合。

本节将讲一种AdaBoost的特例，当AdaBoost+决策树=提升树。

提升树模型

AdaBoost采用了一种加法模型，将我们的弱分类器进行线性组合，而且同时使用了前向分步算法进行优化，如果此时我们的弱学习器为决策树的话，此时我们就会得到一种特例，常被叫做提升树。

如果对于分类问题的话，弱学习器一般为二叉分类树，如果对于回归问题来说，弱学习器为二叉回归树。

这里讲个概念就是决策树桩：它的意思就是它是最简单的决策树，只有根节点和两个子节点，即根据是否条件分支获得的树，你比如当 x > 1 x>1x>1 ,y = + 1 y=+1y=+1 ，如果 x < = 1 x<=1x<=1 , y = − 1 y=-1y=−1 ，此时这个模型就是决策树桩。

对于提升树的加法模型定义如下：

f ( x ) = ∑ m = 1 M T ( x ; θ m ) f(x)=\sum_{m=1}^MT(x;\theta_m)f(x)=m=1∑MT(x;θm)

• T：T代表决策树模型
• M：代表总共有M个弱学习器
• x：代表样本数据
• θ m \theta_mθm ：代表第m个学习器的参数

提升树算法

因为提升树是基于AdaBoost的，所以它的优化算法也是采用了前向分步算法，所以我们需要由前向后一个一个优化我们的树模型，基于这个我们定义当我们优化到m步时，所对应的总模型学习器为：

f m ( x ) = f m − 1 ( x ) + T ( x ; θ m ) f_m(x)=f_{m-1}(x)+T(x;\theta_m)fm(x)=fm−1(x)+T(x;θm)

注意：下标m不是代表第m个分类器，而是代表累积的意思，f m − 1 ( x ) = T 1 ( x ) + T 2 ( x ) + . . . + T m − 1 ( x ) f_{m-1}(x)=T_1(x)+T_2(x)+...+T_{m-1}(x)fm−1(x)=T1(x)+T2(x)+...+Tm−1(x)

f m − 1 ( x ) f_{m-1}(x)fm−1(x) 是我们前几步优化好的模型，也就是现在的模型，后面的 T ( x ; θ m ) T(x;\theta_m)T(x;θm) 代表我们当前轮数正在优化的树模型，为了求得优化参数，我们定义极小化经验风险函数，也就是最小化损失函数，来求得 T ( x ; θ m ) T(x;\theta_m)T(x;θm) 中的待优化参数 θ m \theta_mθm ，定义损失函数如下：

L ( θ m ) = ∑ i = 1 N L ( y i , f m − 1 ( x ) + T ( x i ; θ m ) ) L(\theta_m)=\sum_{i=1}^NL(y_i,f_{m-1}(x)+T(x_i;\theta_m))L(θm)=i=1∑NL(yi,fm−1(x)+T(xi;θm))

我们的目标就是获得：

θ m ∗ = a r g m i n θ ∑ i = 1 N L ( y i , f m − 1 ( x ) + T ( x i ; θ m ) ) \theta_m^*=argmin_{\theta}\sum_{i=1}^NL(y_i,f_{m-1}(x)+T(x_i;\theta_m))θm∗=argminθi=1∑NL(yi,fm−1(x)+T(xi;θm))

我们需要解出当前正在优化的树的最优参数，由于 f m − 1 ( x ) f_{m-1}(x)fm−1(x) 是前几轮优化后的模型，所以此时可以看作常数，参数只有 T ( x i ; θ m ) T(x_i;\theta_m)T(xi;θm) 中的 θ \thetaθ 。

针对于分类问题损失函数一般使用交叉熵，而回归问题更多使用的是MSE均方误差。

即：

L = ( y − f m − 1 ( x ) − T ( x ; θ m ) ) 2 L=(y-f_{m-1}(x)-T(x;\theta_m))^2L=(y−fm−1(x)−T(x;θm))2

优化问题

我们使用前向分步算法进行优化，所以定义初始学习器 f 0 ( x ) = 0 f_0(x)=0f0(x)=0 。

所以有：

f 0 ( x ) = 0 f m ( x ) = f m − 1 ( x ) + T ( x ; θ m ) f M ( x ) = ∑ m = 1 M T ( x ; θ m ) f_0(x)=0\\f_m(x)=f_{m-1}(x)+T(x;\theta_m)\\f_M(x)=\sum_{m=1}^MT(x;\theta_m)f0(x)=0fm(x)=fm−1(x)+T(x;θm)fM(x)=m=1∑MT(x;θm)

在前向分布算法的第m步，给定当前模型 f m − 1 ( x ) f_{m-1}(x)fm−1(x) ，我们目标是要求解：

θ m ∗ = a r g m i n θ ∑ i = 1 N L ( y i , f m − 1 ( x ) + T ( x i ; θ m ) ) \theta_m^*=argmin_{\theta}\sum_{i=1}^NL(y_i,f_{m-1}(x)+T(x_i;\theta_m))θm∗=argminθi=1∑NL(yi,fm−1(x)+T(xi;θm))

其中 f m − 1 ( x ) f_{m-1}(x)fm−1(x) 代表前 m-1棵树加权的模型，T ( x ; θ m ) T(x;\theta_m)T(x;θm) 为我们当前第m棵树模型。

对于回归问题，定义MSE平方损失有：

L ( θ ) = ∑ i = 1 N ( y i − f m ( x ) ) 2 = ∑ i = 1 N ( y i − f m − 1 ( x ) − T ( x ; θ m ) ) 2 L(\theta)=\sum_{i=1}^N(y_i-f_m(x))^2\\=\sum_{i=1}^N(y_i-f_{m-1}(x)-T(x;\theta_m))^2L(θ)=i=1∑N(yi−fm(x))2=i=1∑N(yi−fm−1(x)−T(x;θm))2

我们进行m次循环，分别优化这个函数，优化加入每个新学习器后的残差和。