AdaBoost
基本思想
对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易的多，提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器（基本分类器），然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布，针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。
对于提升方法来说，有两个问题需要回答：一是在每一轮如何改变训练数据的权值或概率分布；二是如何将弱分类器组合成一个强分类器。关于第一个问题，Adaboost的做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。这样，那些没有得到正确分类的数据，由于其权值加大而受到后一轮的弱分类器的更大关注；对于第二个问题，Adaboost采取了加权多数表决的方法，具体的做法是加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，见效分类误差率大的弱分类器的权值，使其在表决中起较小的作用。
Adaboost算法
假设给定一个二分类的训练数据集：
我们用一张图来展示一下最终分类器的形式：
数学原理
上面我们了解了adaboost算法的工作流程，本节再让我们来解释一下上文中的一些数学原理。
系数α m 的设定
损失函数的设定
我们了解了系数的设定，但是系数中用到了一个损失函数，那么对于这个损失函数我们为什么这样定义呢？
若损失函数达到最小时，G(x)可以达到最佳分类效果，我们就可以解释损失函数为什么要这样去定义了。
我们先将损失函数重写为分布的形式：
Adaboost例子
这里拿李航博士《统计学习方法》中的例子来说明一下：
我们有下表所示的训练数据，假设弱分类器由x<v或x>v产生，其阈值v使该分类器在训练数据集上分类误差率最低，我们尝试使用Adaboost来学习一个强分类器。
初始化数据权值分布：
(a)在权值分布为D1的训练数据上，阈值v取2.5时分类误差率最低，此时的基本分类器为：
(b)
在训练数据集上的误差率
(d)更新训练数据的权值分布：
