支持向量机SVM简介及示例演示
【关键词】支持向量，最大几何间隔，拉格朗日乘子法
1. 支持向量机的原理
支持向量机（Support Vector Machine），其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。
那么什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。
见下图，在一个二维环境中，其中点R，S，G点和其它靠近中间黑线的点可以看作为支持向量，它们可以决定分类器，也就是黑线的具体参数。
2. 解决的问题
- 线性分类
在训练数据中，每个数据都有n个的属性和一个二类类别标志，我们可以认为这些数据在一个n维空间里。我们的目标是找到一个n-1维的超平面（hyperplane），这个超平面可以将数据分成两部分，每部分数据都属于同一个类别。
其实这样的超平面有很多，我们要找到一个最佳的。因此，增加一个约束条件：这个超平面到每边最近数据点的距离是最大的。也成为最大间隔超平面（maximum-margin hyperplane）。这个分类器也成为最大间隔分类器（maximum-margin classifier）。
支持向量机是一个二类分类器。
- 非线性分类
SVM的一个优势是支持非线性分类。它结合使用拉格朗日乘子法和KKT条件，以及核函数可以产生非线性分类器。
3. SVM解决问题的步骤
1.SVM的目的是要找到一个线性分类的最佳超平面 f(x)=xw+b=0。求 w 和 b。
2.首先通过两个分类的最近点，找到f(x)的约束条件。
3.有了约束条件，就可以通过拉格朗日乘子法和KKT条件来求解，这时，问题变成了求拉格朗日乘子αi 和 b。
4.对于异常点的情况，加入松弛变量ξ来处理。
非线性分类的问题：映射到高维度、使用核函数。
3.1 线性分类及其约束条件
SVM的解决问题的思路是找到离超平面的最近点，通过其约束条件求出最优解。
3.2 最大几何间隔（geometrical margin）
3.3 求解问题w,b
我们使用拉格朗日乘子法
来求w和b，一个重要原因是使用拉格朗日乘子法后,还可以解决非线性划分问题。
拉格朗日乘子法可以解决下面这个问题：
消除w之后变为：
可见使用拉格朗日乘子法后，求w,b的问题变成了求拉格朗日乘子αi和b的问题。
到后面更有趣，变成了不求w了，因为αi可以直接使用到分类器中去，并且可以使用αi支持非线性的情况.
4. 实战示例
1、示例1：画出SVM二维决策边界
import numpy as np from sklearn.svm import SVC import matplotlib.pyplot as plt %matplotlib inline
随机生成一些数据
a = np.random.randn(20,2) + [2,2] b = np.random.randn(20,2) + [-1,-3] data = np.concatenate([a,b]) data.shape
(40, 2) • 1
# 将数据点分为2类，一类20个点 target = [0]*20 + [1]*20
plt.scatter(data[:,0],data[:,1],c=target) • 1
<matplotlib.collections.PathCollection at 0x1e4a3106668>
# 创建支持向量机分类器 svc = SVC(kernel="linear") • 1 • 2
svc.fit(data,target)
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma='auto', kernel='linear', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)
# 找到支持向量 sv = svc.support_vectors_ sv
array([[ 0.47403487, 1.35490312], [ 2.76462572, -0.35759099], [ 0.70116275, -2.38879174]])
# 提取斜率:svc.coef_ # mx + ny + b = 0 ==> ny = -mx - b ==> y = -(m/n)x - b/n w = -svc.coef_[0,0]/svc.coef_[0,1] w
-0.747621114673942
# 提取截距:svc.intercept_ b = -svc.intercept_[0]/svc.coef_[0,1] b
-0.07777143534587211
x = np.linspace(-3,6,100) # 直线方程 y = w*x + b
plt.scatter(data[:,0],data[:,1],c=target) plt.scatter(sv[:,0],sv[:,1],c="r",s=300,alpha=0.5) plt.plot(x,y)
[<matplotlib.lines.Line2D at 0x1e4a0fd2d30>]
上图中，红色的点表示支持向量，直线表示SVM的决策边界。
2、示例2：SVM分离非线性坐标点
2.1 产生非线性随机点
# 随机产生180个点 data = np.random.randn(180,2) plt.scatter(data[:,0],data[:,1])
<matplotlib.collections.PathCollection at 0x1e4a4b0fbe0>
a = np.array([[1,2],[-1,2],[-1,-1],[1,-4]]) target = np.logical_xor(a[:,0]>0,a[:,1]>0) target
array([False, True, False, True])
# 通过异或方式，产生非线性分类目标点 target = np.logical_xor(data[:,0]>0,data[:,1]>0) target
array([False, True, True, True, False, True, False, False, False, True, True, True, False, True, False, True, True, False, True, True, False, True, False, True, False, True, False, False, False, False, False, False, True, True, True, True, False, False, True, False, True, True, True, False, True, True, True, False, True, False, False, True, False, True, True, True, False, True, False, False, False, False, True, True, False, True, True, False, False, False, True, False, False, True, False, True, False, True, True, False, False, True, True, False, True, False, False, False, True, False, False, False, False, True, True, False, False, True, True, False, True, False, False, True, False, True, False, False, False, False, True, True, True, True, False, True, True, True, False, True, True, True, False, True, True, False, False, True, False, True, True, True, True, False, True, True, True, True, False, True, True, True, False, False, False, True, True, True, False, False, False, True, False, True, True, False, True, False, False, True, True, True, True, True, True, False, True, False, True, False, True, False, True, True, True, False, True, False, True, False])
np.logical_xor的作用示例
a = np.array([[1,2],[-1,2],[-1,-1],[1,-4]])
target = np.logical_xor(a[:,0]>0,a[:,1]>0)
target结果为：array([False, True, False, True])
plt.scatter(data[:,0],data[:,1],c=target)
2.2 构建SVM模型并训练
svc = SVC() # SVC的核函数默认为rbf，基于半径的核函数 svc
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)
svc.fit(data,target)
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)
2.3 绘制轮廓曲线
# 确定轮廓曲线的范围 xx,yy = np.meshgrid(np.linspace(-3,3,500),np.linspace(-3,3,500))
xy = np.c_[xx.ravel(),yy.ravel()] • 1
xy.shape • 1
(250000, 2)
# 求测试点到分割超平面之间的距离 distances = svc.decision_function(xy) distances.shape
(250000,)
plt.contour(xx,yy,distances.reshape(xx.shape),cmap="PuOr_r") plt.scatter(data[:,0],data[:,1],c=target)
<matplotlib.collections.PathCollection at 0x1e4a46c2518>
