上一节我们讲了AdaBoost，而提升树也是提升方法的一种，它的基分类器为分类树或者回归树。（ps：首先我们讲一下残差的概念：残差是指实际值和估计值之间的差，就是相减。）一般提升树的模型的损失函数是平方损失和对数损失，所以优化很简单。但是对一般损失函数而言就有困难，所以又有了梯度提升算法，然后一结合成了梯度提升树（GBDT）。
首先将一下什么是提升树。我们知道所谓的提升算法其实就是加法模型加上前向分布算法，李航的那本书有证明。所以，我们将基分类器换成树模型的时候，提升方法就变成了提升树。一般的前向分布算法的描述如下：
提升树算法就是将基分类器换成了树，每一个新的分类器是为了拟合残差，而GDBT只不过将损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值，拟合一个回归树。（分类树也是同样的道理）
算法描述如下：
