支持向量机原理推导(二)

简介:

上一节我们讲述了间隔公式是如何得到的,这一节讲述要得到最大间隔时的分割超平面所要的条件是什么。

09edc84faf48d8133c628c8e5a36b5ebad938e37

在上图中我们可以看到间隔为MarginB/2,但是我们很容易发现黑线还可以向上移动从而得到更大的间隔,当移动到是最上面红线与第一个Men数据点相交时便得到最大间隔了,如下图:

101a3937940b3e8f3c61bfcac43d62412b351e63

下面我们就根据这个思路求出得到最大间隔时所要满足的条件。

0bb5ac066bf232c29e6c608316c2cee0c106be23

如上图,我们设分割超平面为g:W•X+b=0,以它为对称轴的两条线为h:W•X+b=1;f:W•X+b=-1 
首先必须满足在h与f线之间没有任何数据,然后便是支持向量正好在这两条线上。即: 
对于蓝色类都满足W•X+b≥1,且至少有一个点瞒住W•X+b=1; 
对于红色类都满足W•X+b≤-1,且至少有一个点瞒住W•X+B=-1; 
我们设蓝色类与红色类的标签分别为(1,-1),那么我们把不等式与各自对应的标签相乘便可以得到一个综合的公式,即:y_i (W•X_i+b)≥1。 
条件我们找到了,下面就是要推导出h与f线之间间隔的公式。

43f52e85ba59ad67947d572aa81a62c688bfc05e

设h与f间隔为m 
因为K向量垂直于h与f,所以Z_1=Z_0+K (1式) 
因为Z_1在h上,所以W•Z_1+b=1 (2式) 
将1式带入2式得W(Z_0+K)+b=1 (3式) 
其中K= (m•W)/(||W||) (4式) 
将4式带入3式得W(Z_0+(m•W)/(||W||))+b=1 (5式) 
化简5式得W•Z_0+b=1-m*||W|| (6式) 
因为Z_0在f上,所以满足W•Z_0+b=-1 (7式) 
将7式带入6式得:-1=1-m*||W|| (8式) 
所以(8式)化简得到距离m=2/(||W||),可以看出||W||越小m越大 
综上我们可以看出得到最优分割超平面便是得到在满足y_i (W•X_i+b)≥1时,||W||的最小值。 
本节内容便到此结束,下节内容我们拓展一下拉格朗日乘子与KKT的知识,因为我们最后要用到KKT对上式进行变形得到书上所说的优化目标函数:

0b1ca825cbd9f3af953f2fb5e0493252cd9357b5

,以及约束条件:

4671ee46262699c6f0c96ff7a70369ffc856ef23



原文发布时间为:2017-08-17 

本文作者:exploit

本文来自云栖社区合作伙伴“Python中文社区”,了解相关信息可以关注“Python中文社区”微信公众号

相关文章
|
3月前
|
机器学习/深度学习 算法
【机器学习】SVM面试题:简单介绍一下SVM?支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择?SVM为什么采用间隔最大化?为什么要将求解SVM的原始问题转换为其对偶问题?
支持向量机(SVM)的介绍,包括其基本概念、与逻辑回归(LR)和决策树(DT)的直观和理论对比,如何选择这些算法,SVM为何采用间隔最大化,求解SVM时为何转换为对偶问题,核函数的引入原因,以及SVM对缺失数据的敏感性。
65 3
|
6月前
|
机器学习/深度学习 算法 Python
LSTM(长短期记忆)网络的算法介绍及数学推导
LSTM(长短期记忆)网络的算法介绍及数学推导
109 0
|
机器学习/深度学习 JavaScript
知识干货 | GAN的原理和数学推导
知识干货 | GAN的原理和数学推导
182 0
|
机器学习/深度学习 人工智能 资源调度
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
298 0
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
|
机器学习/深度学习 人工智能 算法
【机器学习】支持向量机(SVM)——硬间隔+对偶+KKT条件+拉格朗日乘子(理论+图解+公式推导)
【机器学习】支持向量机(SVM)——硬间隔+对偶+KKT条件+拉格朗日乘子(理论+图解+公式推导)
295 0
【机器学习】支持向量机(SVM)——硬间隔+对偶+KKT条件+拉格朗日乘子(理论+图解+公式推导)
|
机器学习/深度学习 定位技术
如何推导高斯过程回归以及深层高斯过程详解
如何推导高斯过程回归以及深层高斯过程详解
541 0
如何推导高斯过程回归以及深层高斯过程详解
|
机器学习/深度学习 算法
|
机器学习/深度学习 算法
《统计学习方法》极简笔记P6:逻辑回归算法推导
《统计学习方法》极简笔记P6:逻辑回归算法推导
《统计学习方法》极简笔记P6:逻辑回归算法推导
|
机器学习/深度学习
【3】感知机结构与反向传播推导
【3】感知机结构与反向传播推导
119 0
【3】感知机结构与反向传播推导