SVM-VC维和结构风险最小化

简介: 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上。置信风险: 分类器对 未知样本进行分类,得到的误差。经验风险: 训练好的分类器,对训练样本重新分类得到的误差。

支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上。

置信风险: 分类器对 未知样本进行分类,得到的误差。
经验风险: 训练好的分类器,对训练样本重新分类得到的误差。即样本误差
结构风险:置信风险 + 经验风险
结构风险最小化就是为了防止过拟合而提出来的策略,贝叶斯估计中最大后验概率估计就是结构风险最小化的一个例子。当模型的条件概率分布、损失函数是对数损失函数、模型复杂度由模型先验概率表示时,结构风险最小化等价于最大后验概率估计。监督学习问题变成经验风险或结构风险函数的最优化问题,这时经验风险或结构风险函数是最优化的目标函数。

置信风险因素:

样本数量,给定的样本数量越大,学习结果越有可能正确,此时置信风险越小;
分类函数的VC维,显然VC维越大,推广能力越差,置信风险会变大。
提高样本数量,降低VC维,降低置信风险。

以前机器学习的目标是降低经验风险,要降低经验风险,就要提高分类函数的复杂度,导致VC维很高,VC维高,置信风险就高,所以,结构风险也高。---- 这是SVM比其他机器学习具有优势的地方。
SVM在小样本训练集上能够得到比其它算法好很多的结果。支持向量机之所以成为目前最常用,效果最好的分类器之一,在于其优秀的泛化能力,这是是因为其本身的优化目标是结构化风险最小,而不是经验风险最小,因此,通过margin的概念,得到对数据分布的结构化描述,因此减低了对数据规模和数据分布的要求。SVM也并不是在任何场景都比其他算法好,对于每种应用,最好尝试多种算法,然后评估结果。如SVM在邮件分类上,还不如逻辑回归、KNN、bayes的效果好。

VC维:

将N个点进行分类,如分成两类,那么可以有2N种分法,即可以理解成有2N个学习问题。若存在一个假设H,能准确无误地将2^N种问题进行分类。那么这些点的数量N,就是H的VC维。 这个定义真生硬,只能先记住。一个实例就平面上3个点的线性划分的VC维是3. 而平面上 VC维不是4,是因为不存在4个样本点,能被划分成2^4 = 16种划分法,因为对角的两对点不能被线性划分为两类。更一般地,在r 维空间中,线性决策面的VC维为r+1。
置信风险的影响因素有: 训练样本数目和分类函数的VC维。训练样本数目,即样本越多,置信风险就可以比较小;VC维越大,问题的解的种类就越多,推广能力就越差,置信风险也就越大。因此,增加样本数,降低VC维,才能降低置信风险。而一般的分类函数,需要提高VC维,即样本的特征数据量,来降低经验风险,如多项式分类函数。如此就会导致置信风险变高,结构风险也相应变高。过度学习即overfit,就是置信风险变高的缘故。

结构风险最小化srm

SRM(structured risk minimize)就是同时考虑经验风险与结构风险。在小样本情况下,取得比较好的分类效果。保证分类精度(经验风险)的同时,降低学习机器的 VC 维,可以使学习机器在整个样本集上的期望风险得到控制,这应该就是SRM的原则。
当训练样本给定时,分类间隔越大,则对应的分类超平面集合的 VC 维就越小。(分类间隔的要求,对VC维的影响)
根据结构风险最小化原则,前者是保证经验风险(经验风险和期望风险依赖于学习机器函数族的选择)最小,而后者使分类间隔最大,导致 VC 维最小,实际上就是使推广性的界中的置信范围最小,从而达到使真实风险最小。
训练样本在线性可分的情况下,全部样本能被正确地分类(咦这个不就是传说中的yi(wxi+b))>=1的条件吗),即经验风险Remp 为 0 的前提下,通过对分类间隔最大化(咦,这个就是Φ(w)=(1/2)ww嘛),使分类器获得最好的推广性能。

下面再添加一些相关内容:

正则化

regularization归一化:normalization李航博士在其统计学习方法中写道统计学习的三要素由模型、策略和算法组成。在监督学习中模型即是要学习的概率分布函数或决策函数,因此模型的假设空间便包括所有可能的概率分布或决策函数。模型的假设空间有了之后,下面的问题就是如何选择最优的模型,选择的准则又是什么。这就引入了损失函数和风险函数的概念。损失函数度量一次预测的好坏。风险函数度量平均意义下模型的好好。在监督学习中我们从假设空间中选择f作为我们的决策函数,那么给一个输入X,我们会产生一个输出f(X)[分类回归均可],模型f产生的输出f(X)和实际输出y会有一定的差距。我们用损失函数(loss function)或代价函数(cost function)来衡量预测错误的程度。损失函数有很多种,例如平方损失函数(例如回归问题用的),绝对损失函数,对数损失函数(例如logistic regression用的)可见损失函数值越小,模型预测的就越好。
当然现实世界中我们并不知道输入输出的概率分布是啥,不然也用不着我们去预测了。我们只拥有的是一些训练数据用做训练集,在这个训练集上,模型得到的平均损失称为经验风险(empirical risk)或经验损失(empirical loss)。如果样本的数量足够大,根据大数定理,经验风险应该接近期望风险。因此我们可以用经验风险来估计期望风险。因此经验风险最小化(empirical risk minimization,ERM)的的原则就是说使经验风险最小的模型就是最优的模型。为了使经验风险最小,可以说无所不用其极,这样就有可能导致训练出的模型经验风险小,但模型复杂,导致模型泛化能力差,即在新数据上表型性能差,奥,对,专业名词叫过拟合(overfitting)。避免过拟合的问题可以用减少features的方法,也可以用结构风险最小化(structural risk minimization, SRM)。结构风险最小化等价于正则化(regularization),即在经验风险的后面加上与模型复杂度相符的正则化项(regularizer)或惩罚项(penalty term)
lambda表示对模型复杂的惩罚。值越大,惩罚越大。在实际操作中需要权衡。lambda=0,即不进行正则化,出现过拟合,以机器学习公开课logistic regression的图为例:
让lambda=1,对模型复杂度进行惩罚,分类效果与泛化能力还不错:

惩罚过火的话,比如lambda=100,出现欠拟合(underfitting)的问题:

目录
相关文章
|
Java 应用服务中间件 Maven
不同版本Idea部署Maven和Tomcat教学
不同版本Idea部署Maven和Tomcat教学
884 0
|
虚拟化 Android开发 云计算
6个VMware桌面虚拟化的替代方案
6个VMware桌面虚拟化的替代方案
1431 1
|
机器学习/深度学习 人工智能 算法
黑盒模型事后归因解析:SHAP 方法
近年来人工智能的浪潮越来越汹涌,以神经网络、集成模型为代表的机器学习模型在数据挖掘领域中发挥着不可替代的作用。在追求模型高精度的道路上,工业界和学术界也十分关注模型的可解释性,期待从复杂模型中得到更直观的理解。
|
10月前
|
人工智能 人机交互 语音技术
输入剧本即可生成漫剧:360 短剧智能体如何落地执行型 AI
2026 年全球将迎来“百亿智能体”时代,这意味着AI从大模型到可以生成能力到可执行能力智能体,360宣布即将发布一款 短剧智能体,即用户只需输入剧本,它就能生成漫剧大片,极大降低影视内容创作门槛。
767 0
|
Ubuntu 数据安全/隐私保护
安装Ubuntu16.04卡在Ubuntu的logo界面解决方法
安装Ubuntu16.04卡在Ubuntu的logo界面解决方法
4022 0
安装Ubuntu16.04卡在Ubuntu的logo界面解决方法
|
机器学习/深度学习 人工智能
Diffusion-DPO:一种基于直接偏好优化的扩散模型对齐新方法
本文介绍了一种名为 Diffusion-DPO 的创新方法,该方法基于直接偏好优化(DPO)原理,简化了扩散模型与人类偏好的对齐过程。相比传统的基于人类反馈的强化学习(RLHF)方法,Diffusion-DPO 避免了显式奖励模型的训练,通过数学近似简化实现流程,并在处理开放词汇表场景时展现出更强的能力。实验结果表明,该方法在 Stable Diffusion 1.5 和 SDXL-1.0 等主流模型上显著提升了生成图像的质量和可控性,为未来扩散模型的发展提供了新的思路。
1702 14
Diffusion-DPO:一种基于直接偏好优化的扩散模型对齐新方法
|
数据采集 数据可视化 大数据
大数据体系知识学习(三):数据清洗_箱线图的概念以及代码实现
这篇文章介绍了如何使用Python中的matplotlib和numpy库来创建箱线图,以检测和处理数据集中的异常值。
672 1
大数据体系知识学习(三):数据清洗_箱线图的概念以及代码实现
|
存储 前端开发 安全
如何在自己的网站接入API接口获取数据?分步指南与实战示例
将第三方API(如微店API)接入网站是扩展功能和获取实时数据的关键。流程包括注册开发者账号、申请API权限、设置认证机制(OAuth 2.0或AppKey签名)、调用API实现前后端协作、处理数据与错误、优化安全性能,并解决常见问题。确保遵循最佳实践,保障系统稳定与安全。通过这些步骤,开发者可高效整合数据,提升应用功能。
|
Rust 搜索推荐 算法
【密码学】一文读懂GCM(Golais计数器模式)
GCM(Galois计数器模式)同样的也是NIST提出来的,这个模式基于并行化设计,下面来一起看一下这个模式具体是如何工作的吧。
4332 0
【密码学】一文读懂GCM(Golais计数器模式)
|
数据可视化 图形学 C++
探索Qt Quick Item的奥秘:从原理到高级应用
探索Qt Quick Item的奥秘:从原理到高级应用
1100 1