【阿旭机器学习实战】【20】支持向量机SVM原理简介及示例演示:画出SVM二维决策边界与分离非线性坐标点

简介: 【阿旭机器学习实战】【20】支持向量机SVM原理简介及示例演示:画出SVM二维决策边界与分离非线性坐标点

支持向量机SVM简介及示例演示


【关键词】支持向量,最大几何间隔,拉格朗日乘子法


1. 支持向量机的原理


支持向量机(Support Vector Machine),其含义是通过支持向量运算的分类器。其中“机”的意思是机器,可以理解为分类器。

那么什么是支持向量呢?在求解的过程中,会发现只根据部分数据就可以确定分类器,这些数据称为支持向量。

见下图,在一个二维环境中,其中点R,S,G点和其它靠近中间黑线的点可以看作为支持向量,它们可以决定分类器,也就是黑线的具体参数。


583dd31adf4a4147899026a4b7ac007d.png


2. 解决的问题


  • 线性分类


在训练数据中,每个数据都有n个的属性和一个二类类别标志,我们可以认为这些数据在一个n维空间里。我们的目标是找到一个n-1维的超平面(hyperplane),这个超平面可以将数据分成两部分,每部分数据都属于同一个类别。

其实这样的超平面有很多,我们要找到一个最佳的。因此,增加一个约束条件:这个超平面到每边最近数据点的距离是最大的。也成为最大间隔超平面(maximum-margin hyperplane)。这个分类器也成为最大间隔分类器(maximum-margin classifier)。

支持向量机是一个二类分类器。


  • 非线性分类


SVM的一个优势是支持非线性分类。它结合使用拉格朗日乘子法和KKT条件,以及核函数可以产生非线性分类器。


3. SVM解决问题的步骤


1.SVM的目的是要找到一个线性分类的最佳超平面 f(x)=xw+b=0。求 w 和 b。


2.首先通过两个分类的最近点,找到f(x)的约束条件。


3.有了约束条件,就可以通过拉格朗日乘子法和KKT条件来求解,这时,问题变成了求拉格朗日乘子αi 和 b。


4.对于异常点的情况,加入松弛变量ξ来处理。


非线性分类的问题:映射到高维度、使用核函数。


3.1 线性分类及其约束条件


SVM的解决问题的思路是找到离超平面的最近点,通过其约束条件求出最优解。

782cca8502a34cc7bb834bcd7bd64db0.png


3.2 最大几何间隔(geometrical margin)

0c167a07d2c54faa969b32145afcb152.png

71fdd9c892104c2386e45914b7ecd423.png


3.3 求解问题w,b


我们使用拉格朗日乘子法


来求w和b,一个重要原因是使用拉格朗日乘子法后,还可以解决非线性划分问题。

拉格朗日乘子法可以解决下面这个问题:


2889de32975d45ed9c9a28546bcdb5b0.png

消除w之后变为:

65d36313854a498eb50aa33ade7b7ffa.png


可见使用拉格朗日乘子法后,求w,b的问题变成了求拉格朗日乘子αi和b的问题。

到后面更有趣,变成了不求w了,因为αi可以直接使用到分类器中去,并且可以使用αi支持非线性的情况.


4. 实战示例


1、示例1:画出SVM二维决策边界


import numpy as np
from sklearn.svm import SVC
import matplotlib.pyplot as plt
%matplotlib inline


随机生成一些数据


a = np.random.randn(20,2) + [2,2]
b = np.random.randn(20,2) + [-1,-3]
data = np.concatenate([a,b])
data.shape
(40, 2)
• 1
# 将数据点分为2类,一类20个点
target = [0]*20 + [1]*20
plt.scatter(data[:,0],data[:,1],c=target)
• 1
<matplotlib.collections.PathCollection at 0x1e4a3106668>

732e1085dfc94a4dbf18eae104828d9a.png

# 创建支持向量机分类器
svc = SVC(kernel="linear")
• 1
• 2
svc.fit(data,target)


SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto', kernel='linear',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)
# 找到支持向量
sv = svc.support_vectors_
sv
array([[ 0.47403487,  1.35490312],
       [ 2.76462572, -0.35759099],
       [ 0.70116275, -2.38879174]])
# 提取斜率:svc.coef_
# mx + ny + b = 0 ==> ny = -mx - b ==> y = -(m/n)x - b/n
w = -svc.coef_[0,0]/svc.coef_[0,1]
w
-0.747621114673942
# 提取截距:svc.intercept_
b = -svc.intercept_[0]/svc.coef_[0,1]
b
-0.07777143534587211
x = np.linspace(-3,6,100)
# 直线方程
y = w*x + b
plt.scatter(data[:,0],data[:,1],c=target)
plt.scatter(sv[:,0],sv[:,1],c="r",s=300,alpha=0.5)
plt.plot(x,y)
[<matplotlib.lines.Line2D at 0x1e4a0fd2d30>]

d909f993238c4de0909150e804477065.png


上图中,红色的点表示支持向量直线表示SVM的决策边界


2、示例2:SVM分离非线性坐标点


2.1 产生非线性随机点


# 随机产生180个点
data = np.random.randn(180,2)
plt.scatter(data[:,0],data[:,1])
<matplotlib.collections.PathCollection at 0x1e4a4b0fbe0>

4723006b5a4247d8b3fb6bf67eb11375.png

a = np.array([[1,2],[-1,2],[-1,-1],[1,-4]])
target = np.logical_xor(a[:,0]>0,a[:,1]>0)
target
array([False,  True, False,  True])
# 通过异或方式,产生非线性分类目标点
target = np.logical_xor(data[:,0]>0,data[:,1]>0)
target
array([False,  True,  True,  True, False,  True, False, False, False,
        True,  True,  True, False,  True, False,  True,  True, False,
        True,  True, False,  True, False,  True, False,  True, False,
       False, False, False, False, False,  True,  True,  True,  True,
       False, False,  True, False,  True,  True,  True, False,  True,
        True,  True, False,  True, False, False,  True, False,  True,
        True,  True, False,  True, False, False, False, False,  True,
        True, False,  True,  True, False, False, False,  True, False,
       False,  True, False,  True, False,  True,  True, False, False,
        True,  True, False,  True, False, False, False,  True, False,
       False, False, False,  True,  True, False, False,  True,  True,
       False,  True, False, False,  True, False,  True, False, False,
       False, False,  True,  True,  True,  True, False,  True,  True,
        True, False,  True,  True,  True, False,  True,  True, False,
       False,  True, False,  True,  True,  True,  True, False,  True,
        True,  True,  True, False,  True,  True,  True, False, False,
       False,  True,  True,  True, False, False, False,  True, False,
        True,  True, False,  True, False, False,  True,  True,  True,
        True,  True,  True, False,  True, False,  True, False,  True,
       False,  True,  True,  True, False,  True, False,  True, False])


np.logical_xor的作用示例

a = np.array([[1,2],[-1,2],[-1,-1],[1,-4]])

target = np.logical_xor(a[:,0]>0,a[:,1]>0)

target结果为:array([False, True, False, True])


plt.scatter(data[:,0],data[:,1],c=target)

96b545f5d4994c06b30c277087283c75.png

2.2 构建SVM模型并训练


svc = SVC() # SVC的核函数默认为rbf,基于半径的核函数
svc
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)
svc.fit(data,target)
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)


2.3 绘制轮廓曲线


# 确定轮廓曲线的范围
xx,yy = np.meshgrid(np.linspace(-3,3,500),np.linspace(-3,3,500))
xy = np.c_[xx.ravel(),yy.ravel()]
• 1
xy.shape
• 1
(250000, 2)
# 求测试点到分割超平面之间的距离
distances = svc.decision_function(xy)
distances.shape
(250000,)
plt.contour(xx,yy,distances.reshape(xx.shape),cmap="PuOr_r")
plt.scatter(data[:,0],data[:,1],c=target)
<matplotlib.collections.PathCollection at 0x1e4a46c2518>

7c5438f64b2d4895be43525bd7fe442b.png


相关文章
|
7月前
|
机器学习/深度学习 算法 Python
机器学习特征筛选:向后淘汰法原理与Python实现
向后淘汰法(Backward Elimination)是机器学习中一种重要的特征选择技术,通过系统性地移除对模型贡献较小的特征,以提高模型性能和可解释性。该方法从完整特征集出发,逐步剔除不重要的特征,最终保留最具影响力的变量子集。其优势包括提升模型简洁性和性能,减少过拟合,降低计算复杂度。然而,该方法在高维特征空间中计算成本较高,且可能陷入局部最优解。适用于线性回归、逻辑回归等统计学习模型。
270 7
|
8月前
|
机器学习/深度学习 数据采集 分布式计算
大数据分析中的机器学习基础:从原理到实践
大数据分析中的机器学习基础:从原理到实践
378 3
|
10月前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
569 4
|
11月前
|
机器学习/深度学习 自然语言处理 语音技术
探索机器学习中的深度学习模型:原理与应用
探索机器学习中的深度学习模型:原理与应用
280 0
|
机器学习/深度学习 程序员
【机器学习】朴素贝叶斯原理------迅速了解常见概率的计算
【机器学习】朴素贝叶斯原理------迅速了解常见概率的计算
|
5月前
|
机器学习/深度学习 数据采集 人工智能
20分钟掌握机器学习算法指南
在短短20分钟内,从零开始理解主流机器学习算法的工作原理,掌握算法选择策略,并建立对神经网络的直观认识。本文用通俗易懂的语言和生动的比喻,帮助你告别算法选择的困惑,轻松踏入AI的大门。
|
11月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
1074 6
|
6月前
|
机器学习/深度学习 存储 Kubernetes
【重磅发布】AllData数据中台核心功能:机器学习算法平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
AI训练师入行指南(三):机器学习算法和模型架构选择
从淘金到雕琢,将原始数据炼成智能珠宝!本文带您走进数字珠宝工坊,用算法工具打磨数据金砂。从基础的经典算法到精密的深度学习模型,结合电商、医疗、金融等场景实战,手把手教您选择合适工具,打造价值连城的智能应用。掌握AutoML改装套件与模型蒸馏术,让复杂问题迎刃而解。握紧算法刻刀,为数字世界雕刻文明!
243 6
|
8月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
本项目展示了人脸识别算法的运行效果(无水印),基于MATLAB2022A开发。核心程序包含详细中文注释及操作视频。理论部分介绍了广义回归神经网络(GRNN)、概率神经网络(PNN)、深度神经网络(DNN)和反向传播(BP)神经网络在人脸识别中的应用,涵盖各算法的结构特点与性能比较。

热门文章

最新文章

下一篇
oss教程