提升方法AdaBoost

简介: 提升算法有两个问题需要回答:一是每一轮如何改变迅雷数据的权值和概率分布;二是如何将弱分类器组合成一个强分类器。关于第一个问题,AdaBoost的做法是,提高那些被前一轮弱分类器错误分类样本的权值,而降低那些被正确分类样本的权值。

提升算法有两个问题需要回答:一是每一轮如何改变迅雷数据的权值和概率分布;二是如何将弱分类器组合成一个强分类器。关于第一个问题,AdaBoost的做法是,提高那些被前一轮弱分类器错误分类样本的权值,而降低那些被正确分类样本的权值。所以,没有被正确分类的样本数据,在加大权值后收到后一轮弱分类器的更大关注。关于第二个问题,AdaBoost采取加权多数表决的方法。具体的,加大分类误差率小的弱分类器的权值,使其在表决中起较大的作用,减少分类误差率大的弱分类器的权值,使其在表决中起到较小的作用。
AdaBoost算法描述如下:

img_2d48610cf091964b0cec6bd3f24b4fa7.png

img_7efee5e553aaed89f2254986bc49f8e1.png

img_ea8bbc88d68ec8c082824d57fd6f0c39.png

这就是基本的算法描述,接下来我们在举个具体的例子来说明这个问题。例子来自于李航的140的AdaBoost的例子。
这个链接有详细的说明,我就不在赘述了。
https://blog.csdn.net/tiandijun/article/details/48036025(说明一下,G3写反了,楼主也说了)
每一个弱分类器我知道是啥,那基分类器咋用呢?参考这个链接
https://blog.csdn.net/px_528/article/details/72963977
然后,我用一张图解释为啥能分类正确。
img_d27222462ee8267be07f59309167210f.png
adaboost说明

目录
相关文章
|
6月前
|
机器学习/深度学习 存储
集成学习方法——随机森林
之前我们介绍过决策树,随机森林(Random Forest)是将多个决策树(Decision Tree)组合在一起形成一个强大的分类器或回归器,是一种集成学习(Ensemble Learning)方法。 随机森林的主要思想是通过随机选择样本和特征来构建多个决策树,并通过集成这些决策树的预测结果来达到更准确的分类或回归结果。具体步骤如下: 随机选择部分训练样本集; 随机选择部分特征子集; 构建决策树,对每个节点进行特征选择和分裂; 再进行重复,构建多个决策树; 对每个决策树,根据投票或平均值等方法,获得最后的分类或回归结果。
|
5月前
|
机器学习/深度学习 数据采集 存储
算法金 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost 算法大全
**摘要:** 这篇文章介绍了决策树作为一种机器学习算法,用于分类和回归问题,通过一系列特征测试将复杂决策过程简化。文章详细阐述了决策树的定义、构建方法、剪枝优化技术,以及优缺点。接着,文章讨论了集成学习,包括Bagging、Boosting和随机森林等方法,解释了它们的工作原理、优缺点以及如何通过结合多个模型提高性能和泛化能力。文中特别提到了随机森林和GBDT(XGBoost)作为集成方法的实例,强调了它们在处理复杂数据和防止过拟合方面的优势。最后,文章提供了选择集成学习算法的指南,考虑了数据特性、模型性能、计算资源和过拟合风险等因素。
75 0
算法金 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost 算法大全
|
5月前
|
机器学习/深度学习 算法
AdaBoost算法
**AdaBoost** 是一种 Boosting 算法,通过序列训练弱分类器并赋予错误分类样本更大权重,逐步构建强分类器。它使用指数损失函数,每次迭代时,弱分类器聚焦于前一轮分类错误的样本。最终,弱分类器的预测结果按其性能加权组合成强分类器。与 Bagging 相比,Boosting 是串行的,每个模型依赖前一个模型的输出,更重视错误样本。AdaBoost 的优点包括提高弱分类器性能、鲁棒性和灵活性,但对噪声敏感且训练时间可能较长。
|
6月前
|
机器学习/深度学习 算法 Python
使用Python实现集成学习算法:Bagging与Boosting
使用Python实现集成学习算法:Bagging与Boosting
79 0
|
6月前
|
机器学习/深度学习 算法
集成学习实现方法
集成学习实现方法
49 1
|
机器学习/深度学习 算法 前端开发
集成学习之随机森林、Adaboost、Gradient Boosting、XGBoost原理及使用
集成学习之随机森林、Adaboost、Gradient Boosting、XGBoost原理及使用
499 0
集成学习之随机森林、Adaboost、Gradient Boosting、XGBoost原理及使用
|
算法 计算机视觉 Python
Python实现KNN算法和交叉验证
Python实现KNN算法和交叉验证
344 0
Python实现KNN算法和交叉验证
|
机器学习/深度学习 算法 前端开发
集成学习方法之随机森林
集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器模型,各自独立地学习和作出预测。这些预测最后结合成组合预测,因此优于任何一个单分类的做出预测。
137 0
集成学习方法之随机森林
|
算法 Python
从0开始实现一个Adaboost分类器(完整代码)
日前,通俗易懂的推导了三种集成学习的原理及主要公式,今天本文基于Python从0开始手动实现一个Adaboost分类器,文中提供完整代码。
462 0
从0开始实现一个Adaboost分类器(完整代码)
|
机器学习/深度学习 搜索推荐 算法
决策树算法之 AdaBoost
AdaBoost 是一种更高级的「森林」类型的决策树,和随机森林比起来,它有以下三个特点 1. AdaBoost 的每棵树都只有一个根节点和两个叶子节点,实际上叫树桩(stump)可能会更合适 2. AdaBoost 的每个树桩的权重是不同的,而随机森林中的每棵树的权重是相同的 3. 前一个树桩的错误数据会影响后一个树桩的生成,意味着后面的树桩是前面树桩的补足。这种思想也被称为 Boos