支持向量机原理推导(二)

简介:

上一节我们讲述了间隔公式是如何得到的,这一节讲述要得到最大间隔时的分割超平面所要的条件是什么。

09edc84faf48d8133c628c8e5a36b5ebad938e37

在上图中我们可以看到间隔为MarginB/2,但是我们很容易发现黑线还可以向上移动从而得到更大的间隔,当移动到是最上面红线与第一个Men数据点相交时便得到最大间隔了,如下图:

101a3937940b3e8f3c61bfcac43d62412b351e63

下面我们就根据这个思路求出得到最大间隔时所要满足的条件。

0bb5ac066bf232c29e6c608316c2cee0c106be23

如上图,我们设分割超平面为g:W•X+b=0,以它为对称轴的两条线为h:W•X+b=1;f:W•X+b=-1 
首先必须满足在h与f线之间没有任何数据,然后便是支持向量正好在这两条线上。即: 
对于蓝色类都满足W•X+b≥1,且至少有一个点瞒住W•X+b=1; 
对于红色类都满足W•X+b≤-1,且至少有一个点瞒住W•X+B=-1; 
我们设蓝色类与红色类的标签分别为(1,-1),那么我们把不等式与各自对应的标签相乘便可以得到一个综合的公式,即:y_i (W•X_i+b)≥1。 
条件我们找到了,下面就是要推导出h与f线之间间隔的公式。

43f52e85ba59ad67947d572aa81a62c688bfc05e

设h与f间隔为m 
因为K向量垂直于h与f,所以Z_1=Z_0+K (1式) 
因为Z_1在h上,所以W•Z_1+b=1 (2式) 
将1式带入2式得W(Z_0+K)+b=1 (3式) 
其中K= (m•W)/(||W||) (4式) 
将4式带入3式得W(Z_0+(m•W)/(||W||))+b=1 (5式) 
化简5式得W•Z_0+b=1-m*||W|| (6式) 
因为Z_0在f上,所以满足W•Z_0+b=-1 (7式) 
将7式带入6式得:-1=1-m*||W|| (8式) 
所以(8式)化简得到距离m=2/(||W||),可以看出||W||越小m越大 
综上我们可以看出得到最优分割超平面便是得到在满足y_i (W•X_i+b)≥1时,||W||的最小值。 
本节内容便到此结束,下节内容我们拓展一下拉格朗日乘子与KKT的知识,因为我们最后要用到KKT对上式进行变形得到书上所说的优化目标函数:

0b1ca825cbd9f3af953f2fb5e0493252cd9357b5

,以及约束条件:

4671ee46262699c6f0c96ff7a70369ffc856ef23



原文发布时间为:2017-08-17 

本文作者:exploit

本文来自云栖社区合作伙伴“Python中文社区”,了解相关信息可以关注“Python中文社区”微信公众号

相关文章
|
机器学习/深度学习 数据建模 数据挖掘
数据建模是什么意思?如何进行数据建模?
数据建模是什么意思?如何进行数据建模?
699 2
|
6月前
|
前端开发 Java 关系型数据库
基于DeepSeek的智慧医药系统源码分享
智慧医药系统基于HTML前端、Java后端,使用Springboot、DeepSeek和MySQL技术栈开发。系统分为游客、用户和管理员三个角色,提供疾病与药品查询、智能问诊、个人资料管理、反馈提交等功能。游客可进行搜索查询,用户能修改资料及咨询智能医生,管理员则负责疾病、药品和反馈管理。项目含视频教程,安装依赖环境包括Java、Maven、IntelliJ IDEA和MySQL。源码地址:gitee.com/beginroad/bishe。
170 7
基于DeepSeek的智慧医药系统源码分享
|
6月前
|
算法 编译器 C++
C++20之2025年上桌我坐哪里?
C++20是C++语言的一次重大更新,引入了模块、协程、概念、范围等革命性特性。相比老版本,它显著提高了开发效率、增强了代码可读性和可维护性,并通过优化编译和运行性能提升了整体表现。这些改进推动了现代C++编程范式的发展,帮助开发者应对复杂软件工程挑战。文章回顾了C++发展历程,详细分析了C++20的新特性及其优势,展望了其未来潜力。
208 1
|
Java 计算机视觉 Python
我的自描外挂制作日志——FPS类游戏的自瞄【优化改进1】
我的自描外挂制作日志——FPS类游戏的自瞄【优化改进1】
364 1
|
SQL JavaScript 关系型数据库
号称下一代Node.js,Typescript以及go的orm的prisma 浅谈如何在nest.js中使用
号称下一代Node.js,Typescript以及go的orm的prisma 浅谈如何在nest.js中使用
号称下一代Node.js,Typescript以及go的orm的prisma 浅谈如何在nest.js中使用
|
Java 数据库 开发者
一文带你掌握Spring事务核心:TransactionDefinition详解!
TransactionDefinition是Spring框架中用于定义事务属性的核心接口。在Spring的事务管理中,这个接口扮演着至关重要的角色,它允许开发者定制事务的各种属性,如隔离级别、传播行为、超时时间以及是否只读。
300 2
一文带你掌握Spring事务核心:TransactionDefinition详解!
|
编解码 安全 算法
【蓝牙系列】蓝牙5.4到底更新了什么(1)--- PAwR
蓝牙5.4规范中引入了一种新的逻辑传输“Periodic Advertising with Responses(PAwR)”,它能够支持无连接的双向应用程序数据通信。在这种技术支持下,ESL设备不需要经常性的切换接收模式,因此可以大大延长电池寿命,同时,基于PAwR的数据传输模式,保证数据传输与监听设备的相关性,从而减少能量的浪费,实现ESL设备接收数据并响应至发送器的能力。
1342 0
|
人工智能 边缘计算 运维
千寻驰观测评:真正达到实用级别的北斗+AI道路智能巡检
大规模道路养护时代,智能化应用需求呈现快速的增长趋势。作为道路智慧化的重要场景,道路智能巡检正在成为各地积极探索的新工具。根据赛文交通网的调研,当前道路智能巡检技术的应用以AI为主,整体处于早期阶段,在已经落地的AI道路巡检项目中,不少巡检检测成本可降低40%,且智能巡检效率是人工巡检的十倍以上;但另一方面,部分业主也传出了“识别精度不高、采集数据不准等问题,与实际应用尚存在距离”等声音。
千寻驰观测评:真正达到实用级别的北斗+AI道路智能巡检
|
存储 网络协议 安全
IPsec 网络地址转换 (NAT) 兼容性要求
如果协议提交未能满足其实现的功能的一项或多项“必须”或“不得”要求,则该协议提交是不合规的。满足所有必须、不得、应该和不应该对其能力的要求的协议提交被称为“无条件兼容”;一个满足所有 MUST 和 MUST NOT 要求,但不是所有 SHOULD 或 SHOULD NOT 要求的协议被称为“有条件地兼容”。
691 0
IPsec 网络地址转换 (NAT) 兼容性要求
Flutter仿写微信导航栏快速实现页面导航
Flutter仿写微信导航栏快速实现页面导航