一、实验目的
使用Python实现支持向量机。
二、Python包
（1）sklearn
（2）mglearn
（3）matplotlib
（4）numpy
三、实验步骤
（1）数据集引入，并使用图像展示
（2）使用SVM进行分类
（注：用于分类的线性模型只能用一条直线来划分数据点，对这个数据集无法给出较好的结果）
（3）现在我们对输入特征进行扩展，比如说添加第二个特征的平方（feature1 ＊＊ 2）作为一个新特征。现在我们将每个数据点表示为三维点(feature0, feature1,feature1 ＊＊ 2)，而不是二维点(feature0, feature1)
（4）在数据的新表示中，现在可以用线性模型（三维空间中的平面）将这两个类别分开。我们可以用线 性模型拟合扩展后的数据来验证这一点。
（5）如果将线性SVM模型看作原始特征的函数，那么它实际上已经不是线性的了。它不是一条直线，而是一个椭圆。
代码：
from sklearn.datasets import make_blobs import mglearn import matplotlib.pyplot as plt import numpy as np from sklearn.svm import LinearSVC from mpl_toolkits.mplot3d import Axes3D,axes3d # 数据集引入并使用图像展示 X,y = make_blobs(centers=4,random_state=8) y = y%2 mglearn.discrete_scatter(X[:,0],X[:,1],y) plt.xlabel("Feature 0") plt.ylabel("Feature 1") plt.show() #使用SVM进行分类 linear_svm = LinearSVC().fit(X,y) mglearn.plots.plot_2d_separator(linear_svm,X) mglearn.discrete_scatter(X[:,0],X[:,1],y) plt.xlabel("Feature 0") plt.ylabel("Feature 1") #第二个特征的平方作为一个新的特征，二维变三维 X_new = np.hstack([X,X[:,1:]**2]) figure = plt.figure() ax = Axes3D(figure, elev=-152, azim=-26) mask = y == 0 ax.scatter(X_new[mask, 0], X_new[mask, 1], X_new[mask, 2], c='b', cmap=mglearn.cm2, s=60) ax.scatter(X_new[~mask, 0], X_new[~mask, 1], X_new[~mask, 2], c='r', marker='^', cmap=mglearn.cm2, s=60) ax.set_xlabel("Feature 0") ax.set_ylabel("Feature 1") ax.set_zlabel("Feature 1 ** 2") #三维 linear_svm_3d = LinearSVC().fit(X_new,y) coef,intercept = linear_svm_3d.coef_.ravel(),linear_svm_3d.intercept_ figure = plt.figure() ax = Axes3D(figure,elev=-152,azim=-26) xx = np.linspace(X_new[:, 0].min() - 2, X_new[:, 0].max() + 2, 50) yy = np.linspace(X_new[:, 1].min() - 2, X_new[:, 1].max() + 2, 50) XX,YY = np.meshgrid(xx,yy) ZZ = (coef[0]*XX+coef[1]*YY+intercept)/-coef[2] ax.plot_surface(XX,YY,ZZ,rstride=8,cstride=8,alpha=0.3) ax.scatter(X_new[mask,0],X_new[mask,1],X_new[mask,2],c='b',cmap=mglearn.cm2,s=60) ax.scatter(X_new[~mask,0],X_new[~mask,1],X_new[~mask,2],c='r', marker='^', cmap=mglearn.cm2,s=60) ax.set_xlabel("Feature 0") ax.set_ylabel("Feature 1") ax.set_zlabel("Feature 1 ** 2") #降维 ZZ = YY ** 2 dec = linear_svm_3d.decision_function(np.c_[XX.ravel(),YY.ravel(),ZZ.ravel()]) plt.contourf(XX,YY,dec.reshape(XX.shape),levels=[dec.min(),0,dec.max()], cmap=mglearn.cm2,alpha=0.5) mglearn.discrete_scatter(X[:,0],X[:,1],y) plt.xlabel("Feature 0") plt.ylabel("Feature 1") plt.show()
实验六 支持向量机（补充）
一、实验目的
使用Python实现支持向量机。
二、实验原理
支持向量机所作的事情其实非常容易理解。先来看看下面这一组数据的分布，这是一组两种标签的数据，两种标签分别由圆和方块代表。支持向量机的分类方法，是在这组分布中找出一个超平面作为决策边界，使模型在数据上的分类误差尽量接近于小，尤其是在未知数据集上的分类误差（泛化误差）尽量小。
三、Python包
（1）sklearn
（2）mglearn
（3）matplotlib
（4）numpy
四、问题描述
有如下数据集：
X :
[[-2.23 -1. ]
[-2.06 -1.58]
[ 0.22 -2.12]
[-1.18 -2.82]
[-1.44 -1.55]
[-0.5 -1.76]
[-0.92 -1.47]
[-0.71 -4.54]
[-1.52 -2.22]
[-2.45 -2.62]
[-1.31 -2.07]
[-3.81 -1.72]
[-2.93 -1.88]
[-1.19 -2.51]
[-0.76 -0.79]
[-4. -1.89]
[-3.08 -1.99]
[-1.96 -1.37]
[-0.78 -2.87]
[-2.87 -2.07]
[ 1.62 3.05]
[ 3.15 2.29]
[ 1.58 2.45]
[ 2.93 3.04]
[ 1.13 2.5 ]
[ 0.73 1.06]
[ 1.22 2.91]
[ 2.18 1.41]
[ 2.12 2.2 ]
[ 1.04 1.9 ]
[-0.64 3.57]
[ 1.6 3.34]
[ 0.52 0.73]
[ 4.25 1.86]
[ 0.37 2.02]
[ 1.95 1.74]
[ 3.56 0.85]
[ 3.19 1.37]
[ 2.93 3.32]
[ 1.82 1.68]]
Y:
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
试采用sklearn 包使用SVM算法对其进行分类。
代码：
import matplotlib.pyplot as plt import mglearn import numpy as np X = np.array( [[-2.23, - 1.0], [-2.06, -1.58], [0.22, -2.12], [-1.18, -2.82], [-1.44, -1.55], [-0.5, -1.76], [-0.92, -1.47], [-0.71, -4.54], [-1.52, -2.22], [-2.45, -2.62], [-1.31, -2.07], [-3.81, -1.72], [-2.93, -1.88], [-1.19, -2.51], [-0.76, -0.79], [-4., -1.89], [-3.08, -1.99], [-1.96, -1.37], [-0.78, -2.87], [-2.87, -2.07], [1.62, 3.05], [3.15, 2.29], [1.58, 2.45], [2.93, 3.04], [1.13, 2.5], [0.73, 1.06], [1.22, 2.91], [2.18, 1.41], [2.12, 2.2], [1.04, 1.9], [-0.64, 3.57], [1.6, 3.34], [0.52, 0.73], [4.25, 1.86], [0.37, 2.02], [1.95, 1.74], [3.56, 0.85], [3.19, 1.37], [2.93, 3.32], [1.82, 1.68]]) y = np.array( [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,1, 1]) print(X) print(y) mglearn.discrete_scatter(X[:, 0], X[:, 1], y) plt.xlabel("Feature 0") plt.ylabel("Feature 1") plt.show() from sklearn.svm import LinearSVC linear_svm = LinearSVC().fit(X, y) mglearn.plots.plot_2d_separator(linear_svm, X) mglearn.discrete_scatter(X[:, 0], X[:, 1], y) plt.xlabel("Feature 0") plt.ylabel("Feature 1") plt.show() w, b = linear_svm.coef_, linear_svm.intercept_ print(w, b)
截图：
