支持向量机原理推导(二)

简介:

上一节我们讲述了间隔公式是如何得到的,这一节讲述要得到最大间隔时的分割超平面所要的条件是什么。

09edc84faf48d8133c628c8e5a36b5ebad938e37

在上图中我们可以看到间隔为MarginB/2,但是我们很容易发现黑线还可以向上移动从而得到更大的间隔,当移动到是最上面红线与第一个Men数据点相交时便得到最大间隔了,如下图:

101a3937940b3e8f3c61bfcac43d62412b351e63

下面我们就根据这个思路求出得到最大间隔时所要满足的条件。

0bb5ac066bf232c29e6c608316c2cee0c106be23

如上图,我们设分割超平面为g:W•X+b=0,以它为对称轴的两条线为h:W•X+b=1;f:W•X+b=-1 
首先必须满足在h与f线之间没有任何数据,然后便是支持向量正好在这两条线上。即: 
对于蓝色类都满足W•X+b≥1,且至少有一个点瞒住W•X+b=1; 
对于红色类都满足W•X+b≤-1,且至少有一个点瞒住W•X+B=-1; 
我们设蓝色类与红色类的标签分别为(1,-1),那么我们把不等式与各自对应的标签相乘便可以得到一个综合的公式,即:y_i (W•X_i+b)≥1。 
条件我们找到了,下面就是要推导出h与f线之间间隔的公式。

43f52e85ba59ad67947d572aa81a62c688bfc05e

设h与f间隔为m 
因为K向量垂直于h与f,所以Z_1=Z_0+K (1式) 
因为Z_1在h上,所以W•Z_1+b=1 (2式) 
将1式带入2式得W(Z_0+K)+b=1 (3式) 
其中K= (m•W)/(||W||) (4式) 
将4式带入3式得W(Z_0+(m•W)/(||W||))+b=1 (5式) 
化简5式得W•Z_0+b=1-m*||W|| (6式) 
因为Z_0在f上,所以满足W•Z_0+b=-1 (7式) 
将7式带入6式得:-1=1-m*||W|| (8式) 
所以(8式)化简得到距离m=2/(||W||),可以看出||W||越小m越大 
综上我们可以看出得到最优分割超平面便是得到在满足y_i (W•X_i+b)≥1时,||W||的最小值。 
本节内容便到此结束,下节内容我们拓展一下拉格朗日乘子与KKT的知识,因为我们最后要用到KKT对上式进行变形得到书上所说的优化目标函数:

0b1ca825cbd9f3af953f2fb5e0493252cd9357b5

,以及约束条件:

4671ee46262699c6f0c96ff7a70369ffc856ef23



原文发布时间为:2017-08-17 

本文作者:exploit

本文来自云栖社区合作伙伴“Python中文社区”,了解相关信息可以关注“Python中文社区”微信公众号

相关文章
|
4月前
|
算法 Python
决策树算法详细介绍原理和实现
决策树算法详细介绍原理和实现
|
5月前
|
机器学习/深度学习 API Python
线性回归原理(一)
线性回归用于预测,如房价、销售额和贷款额度。它通过回归方程连接自变量与因变量,例如房价可能依赖于距离和污染水平。在Python的`sklearn`库中,`LinearRegression`用于建模,`coef_`给出回归系数。损失函数衡量预测误差,用于模型优化。
|
5月前
|
算法
线性回归原理(二)
**线性回归与梯度下降简介:** 梯度下降是一种优化算法,常用于线性回归,模拟下山过程寻找函数最小值。在单变量线性回归中,以函数f(x)=x²为例,从初始点开始,每次迭代沿着负梯度(函数增快的方向相反)移动,通过学习率α控制步长。重复此过程,逐步逼近最小值x=0。在多变量情况下,梯度是一个向量,指向函数增长最快的方向。评估线性回归模型性能的指标有平均绝对误差(MAE)、均方误差(MSE)和均方根误差(RMSE),它们衡量预测值与实际值的差距,越小表示模型越准确。
|
11月前
|
机器学习/深度学习 算法 数据可视化
决策树算法的原理是什么样的?
决策树算法的原理是什么样的?
227 0
决策树算法的原理是什么样的?
|
机器学习/深度学习 JavaScript
知识干货 | GAN的原理和数学推导
知识干货 | GAN的原理和数学推导
185 0
|
机器学习/深度学习 人工智能 算法
【机器学习】支持向量机(SVM)——硬间隔+对偶+KKT条件+拉格朗日乘子(理论+图解+公式推导)
【机器学习】支持向量机(SVM)——硬间隔+对偶+KKT条件+拉格朗日乘子(理论+图解+公式推导)
304 0
【机器学习】支持向量机(SVM)——硬间隔+对偶+KKT条件+拉格朗日乘子(理论+图解+公式推导)
|
机器学习/深度学习 算法
|
机器学习/深度学习 算法
《统计学习方法》极简笔记P6:逻辑回归算法推导
《统计学习方法》极简笔记P6:逻辑回归算法推导
《统计学习方法》极简笔记P6:逻辑回归算法推导
|
机器学习/深度学习
【3】感知机结构与反向传播推导
【3】感知机结构与反向传播推导
122 0
【3】感知机结构与反向传播推导