机器学习笔记5-支持向量机2

简介: 机器学习笔记5-支持向量机2

1.低维到高维的映射

根据上一节的结论,我们主要要做的就是解决线性可分的问题,线性可分的问题最后会被转换为一个凸函数的问题就认为是有解的。
但是并不是每个问题都是线性可分的。遇到线性不可分的问题,我们可以将低维映射到高维。比如,二维映射到三维:

当特征空间的维度M上升时,对应的(ω,b)待估计参数的维度也会随之上升,整个模型的自由度也会随之上升,就有更大的概率将低维数据分开。
这里问题就由线性不可分变成了怎么找到φ(x),来完成低维到高维的映射。

2.核函数

为了解决上面找φ(x)的问题,引入了一个新的概念:核函数
核函数是一个实数,φ(x)T,φ(x)是维数相同的两个向量,又因为φ(x)T是和φ(x)的转置,两个维数相同的向量的内积就会得到一个数。

核函数K和φ(x)是一一对应的关系,核函数的形式不能随意的取,要满足下面的两个条件(这是一个定理,先记住就好了):
Mercer定理:

3.对偶问题

原问题:

对偶问题定义:

定理一:

对偶差距:
原问题和对偶问题的差就是对偶差距

强对偶定理:

原问题的目标函数是凸函数的话,限制条件如果是线性函数,那么原问题的解和对偶问题的解是相同的

kkt条件:

总结:

1.先讲了因为很多情况是无法直接做到线性可分的,所以有了低维到高维的映射,来解决地位线性不可分的情况,转换到高维变成线性可分的,再用线性可分的方式来解决问题
2.低维到高维的映射关键是要找到φ(x)Tφ(x),引入核函数K(x1,x2)来替换φ(x)Tφ(x),接着讲到了核函数和φ(x)Tφ(x)是一一对应的,只要知道了其中一个就可以转换为另一个形式,并且讲到了
mercer定理。
3.讲了对偶问题,将原问题的求最小值转换为了最大值,证明了对偶问题是怎么推导出来的,并且引申出对偶差距,强对偶定理,kkt条件等概念。

相关文章
|
6月前
|
机器学习/深度学习 Python
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享-4
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享
|
25天前
|
机器学习/深度学习 计算机视觉 Python
模型预测笔记(三):通过交叉验证网格搜索机器学习的最优参数
本文介绍了网格搜索(Grid Search)在机器学习中用于优化模型超参数的方法,包括定义超参数范围、创建参数网格、选择评估指标、构建模型和交叉验证策略、执行网格搜索、选择最佳超参数组合,并使用这些参数重新训练模型。文中还讨论了GridSearchCV的参数和不同机器学习问题适用的评分指标。最后提供了使用决策树分类器进行网格搜索的Python代码示例。
39 1
|
6月前
|
机器学习/深度学习 人工智能 算法
探索机器学习中的支持向量机(SVM)算法
【5月更文挑战第27天】在数据科学和人工智能的领域中,支持向量机(SVM)是一种强大的监督学习模型,它基于统计学习理论中的VC维理论和结构风险最小化原理。本文将详细介绍SVM的工作原理、核心概念以及如何在实际问题中应用该算法进行分类和回归分析。我们还将讨论SVM面临的挑战以及如何通过调整参数和核技巧来优化模型性能。
|
3月前
|
机器学习/深度学习 算法
【机器学习】SVM面试题:简单介绍一下SVM?支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择?SVM为什么采用间隔最大化?为什么要将求解SVM的原始问题转换为其对偶问题?
支持向量机(SVM)的介绍,包括其基本概念、与逻辑回归(LR)和决策树(DT)的直观和理论对比,如何选择这些算法,SVM为何采用间隔最大化,求解SVM时为何转换为对偶问题,核函数的引入原因,以及SVM对缺失数据的敏感性。
71 3
|
3月前
|
机器学习/深度学习 运维 算法
深入探索机器学习中的支持向量机(SVM)算法:原理、应用与Python代码示例全面解析
【8月更文挑战第6天】在机器学习领域,支持向量机(SVM)犹如璀璨明珠。它是一种强大的监督学习算法,在分类、回归及异常检测中表现出色。SVM通过在高维空间寻找最大间隔超平面来分隔不同类别的数据,提升模型泛化能力。为处理非线性问题,引入了核函数将数据映射到高维空间。SVM在文本分类、图像识别等多个领域有广泛应用,展现出高度灵活性和适应性。
139 2
|
3月前
|
机器学习/深度学习 算法
【机器学习】支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择(面试回答)?
文章对支持向量机(SVM)、逻辑回归(LR)和决策树(DT)进行了直观和理论上的对比,并提供了在选择这些算法时的考虑因素,包括模型复杂度、损失函数、数据量需求、对缺失值的敏感度等。
56 1
|
5月前
|
机器学习/深度学习 算法 BI
机器学习笔记(一) 感知机算法 之 原理篇
机器学习笔记(一) 感知机算法 之 原理篇
|
5月前
|
机器学习/深度学习 算法 数据可视化
技术心得记录:机器学习笔记之聚类算法层次聚类HierarchicalClustering
技术心得记录:机器学习笔记之聚类算法层次聚类HierarchicalClustering
44 0
|
5月前
|
机器学习/深度学习 分布式计算 API
技术好文:Spark机器学习笔记一
技术好文:Spark机器学习笔记一
39 0
|
6月前
|
机器学习/深度学习 数据采集 算法
深入理解并应用机器学习算法:支持向量机(SVM)
【5月更文挑战第13天】支持向量机(SVM)是监督学习中的强分类算法,用于文本分类、图像识别等领域。它寻找超平面最大化间隔,支持向量是离超平面最近的样本点。SVM通过核函数处理非线性数据,软间隔和正则化避免过拟合。应用步骤包括数据预处理、选择核函数、训练模型、评估性能及应用预测。优点是高效、鲁棒和泛化能力强,但对参数敏感、不适合大规模数据集且对缺失数据敏感。理解SVM原理有助于优化实际问题的解决方案。