机器学习_adaboost 算法

简介:

关于Adaboost算法的两篇论文

The Boosting Approach to Machine Learning

A Short Introduction to Boosting

论文内容基本相同,推荐完完整整看完其中一篇之后,在扫一下第二篇。

担心这两篇论文原始地址变了,上传一份csdn的资源,作为备份。

The Boosting Approach to Machine Learning An Overview

A Short Introduction to Boosting

我获益最大的内容:

        1.二分类问题下adaboost的算法步骤:

                                        

        步骤中各参数及其意义:


        Zt起到归一化Dt的概率分布的作用,使所有Dt(i)的总和为1,因此Zt为:

                                                                                         


2.为什么Adaboost多个弱分类器可以提高整体分类效果:

        2.1.Adaboost在训练样本上的误差上界为:

                                             


        2.2.证明通过添加一个分类误差大于>0.5的弱分类器,可以减小误差上界

                                         


3.Adaboost迭代次数的确定:

        机器学习的许多算法中,训练样本上的过度学习,会导致过拟合问题,这篇论文在<4 Generalization error>一节中

指出,adaboost在测试集合上的误差,与迭代次数无关,因此可以放心迭代降低分类器在训练样本上的误差,并且同时指出,

减少训练样本误差,有助于减少测试样本的误差。

          

在这里辨析两个概念:

分类(classfication)&回归(regression)

        分类在数据集上学习规则,对输入的特征,输出其对应的类别(离散值),其中类别由先验知识确定

        回归在数据集上拟合函数,对输入的特征,输出其对应的值(实数值),例如函数曲线拟合

可参考 Difference Between Classification and Regression


目录
相关文章
|
20天前
|
机器学习/深度学习 算法 数据挖掘
8个常见的机器学习算法的计算复杂度总结
8个常见的机器学习算法的计算复杂度总结
8个常见的机器学习算法的计算复杂度总结
|
11天前
|
机器学习/深度学习 数据采集 算法
数据挖掘和机器学习算法
数据挖掘和机器学习算法
|
14天前
|
机器学习/深度学习 数据采集 存储
一文读懂蒙特卡洛算法:从概率模拟到机器学习模型优化的全方位解析
蒙特卡洛方法起源于1945年科学家斯坦尼斯劳·乌拉姆对纸牌游戏中概率问题的思考,与约翰·冯·诺依曼共同奠定了该方法的理论基础。该方法通过模拟大量随机场景来近似复杂问题的解,因命名灵感源自蒙特卡洛赌场。如今,蒙特卡洛方法广泛应用于机器学习领域,尤其在超参数调优、贝叶斯滤波等方面表现出色。通过随机采样超参数空间,蒙特卡洛方法能够高效地找到优质组合,适用于处理高维度、非线性问题。本文通过实例展示了蒙特卡洛方法在估算圆周率π和优化机器学习模型中的应用,并对比了其与网格搜索方法的性能。
89 1
|
20天前
|
机器学习/深度学习 算法 数据挖掘
机器学习必知必会10大算法
机器学习必知必会10大算法
|
19天前
|
机器学习/深度学习 存储 算法
图解最常用的 10 个机器学习算法!
图解最常用的 10 个机器学习算法!
|
1月前
|
机器学习/深度学习 存储 人工智能
【数据挖掘】2022年2023届秋招知能科技公司机器学习算法工程师 笔试题
本文是关于2022-2023年知能科技公司机器学习算法工程师岗位的秋招笔试题,包括简答题和编程题,简答题涉及神经网络防止过拟合的方法、ReLU激活函数的使用原因以及条件概率计算,编程题包括路径行走时间计算和两车相向而行相遇时间问题。
58 2
【数据挖掘】2022年2023届秋招知能科技公司机器学习算法工程师 笔试题
|
1月前
|
机器学习/深度学习 数据采集 数据可视化
基于python 机器学习算法的二手房房价可视化和预测系统
文章介绍了一个基于Python机器学习算法的二手房房价可视化和预测系统,涵盖了爬虫数据采集、数据处理分析、机器学习预测以及Flask Web部署等模块。
基于python 机器学习算法的二手房房价可视化和预测系统
|
21天前
|
机器学习/深度学习 算法 数据挖掘
【白话机器学习】算法理论+实战之决策树
【白话机器学习】算法理论+实战之决策树
|
1月前
|
机器学习/深度学习 算法 搜索推荐
【机器学习】机器学习的基本概念、算法的工作原理、实际应用案例
机器学习是人工智能的一个分支,它使计算机能够在没有明确编程的情况下从数据中学习并改进其性能。机器学习的目标是让计算机自动学习模式和规律,从而能够对未知数据做出预测或决策。
36 2
|
1月前
|
机器学习/深度学习 人工智能 算法
【数据挖掘】2022年2023届秋招奇虎360机器学习算法工程师 笔试题
本文提供了奇虎360公司2022年秋招机器学习算法工程师岗位的笔试题内容,包括选择题和编程题,涉及概率统计、数据结构、机器学习、计算机组成原理等多个领域。
67 5