【Python数据科学手册】专题:支持向量机-阿里云开发者社区

开发者社区> 天池大数据科研平台> 正文
登录阅读全文

【Python数据科学手册】专题:支持向量机

简介: 支持向量机(support vector machine,SVM)是非常强大、灵活的有监督学习算法,既可用于分类,也可用于回归。在本节中,我们将介绍支持向量机的原理,并用它解决分类问题。

支持向量机(support vector machine,SVM)是非常强大、灵活的有监督学习算法,既可用于分类,也可用于回归。在本节中,我们将介绍支持向量机的原理,并用它解决分类问题。首先还是导入需要用的程序库:

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# use seaborn plotting defaults
import seaborn as sns; sns.set()

1、支持向量机的由来

我们首先对每个类进行了随机分布的假设,然后用生成的模型估计新数据点的标签。那是生成分类方法,这里将介绍判别分类方法:不再为每类数据建模,而是用一条分割线(二维空间中的直线或曲线)或者流形体(多维空间中的曲线、曲面等概念的推广)将各种类型分割开。

from sklearn.datasets.samples_generator import make_blobs
X, y = make_blobs(n_samples=50, centers=2,
                  random_state=0, cluster_std=0.60)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn');

image.png

这个线性判别分类器尝试画一条将数据分成两部分的直线,这样就构成了一个分类模型。对于上图的二维数据来说,这个任务其实可以手动完成。但是我们马上发现一个问题:在这两种类型之间,有不止一条直线可以将它们完美分割。

xfit = np.linspace(-1, 3.5)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
plt.plot([0.6], [2.1], 'x', color='red', markeredgewidth=2, markersize=10)

for m, b in [(1, 0.65), (0.5, 1.6), (-0.2, 2.9)]:
    plt.plot(xfit, m * xfit + b, '-k')

plt.xlim(-1, 3.5);

image.png
虽然这三个不同的分割器都能完美地判别这些样本,但是选择不同的分割线,可能会让新的数据点(例如图中的“X”点)分配到不同的标签。显然,“画一条分割不同类型的直线”还不够,我们需要进一步思考。

2、支持向量机:边界最大化

支持向量机提供了改进这个问题的方法,它直观的解释是:不再画一条细线来区分类型,而是画一条到最近点边界、有宽度的线条。

xfit = np.linspace(-1, 3.5)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')

for m, b, d in [(1, 0.65, 0.33), (0.5, 1.6, 0.55), (-0.2, 2.9, 0.2)]:
    yfit = m * xfit + b
    plt.plot(xfit, yfit, '-k')
    plt.fill_between(xfit, yfit - d, yfit + d, edgecolor='none',
                     color='#AAAAAA', alpha=0.4)

plt.xlim(-1, 3.5);

image.png

在支持向量机中,选择边界最大的那条线是模型最优解。支持向量机其实就是一个边界最大化评估器。

1.拟合支持向量机

来看看这个数据的真实拟合结果:用Scikit-Learn 的支持向量机分类器在数据上训练一个SVM 模型。这里用一个线性核函数,并将参数C 设置为一个很大的数(后面会介绍这些设置的意义)。

from sklearn.svm import SVC # "Support vector classifier"
model = SVC(kernel='linear', C=1E10)
model.fit(X, y)

image.png

为了实现更好的可视化分类效果,创建一个辅助函数画出SVM 的决策边界。

def plot_svc_decision_function(model, ax=None, plot_support=True):
    """画二维SVC的决策函数"""
    if ax is None:
        ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()
    
    # 创建评估模型的网格
    x = np.linspace(xlim[0], xlim[1], 30)
    y = np.linspace(ylim[0], ylim[1], 30)
    Y, X = np.meshgrid(y, x)
    xy = np.vstack([X.ravel(), Y.ravel()]).T
    P = model.decision_function(xy).reshape(X.shape)
    
    # 画决策边界和边界
    ax.contour(X, Y, P, colors='k',
               levels=[-1, 0, 1], alpha=0.5,
               linestyles=['--', '-', '--'])
    
    # 画支持向量
    if plot_support:
        ax.scatter(model.support_vectors_[:, 0],
                   model.support_vectors_[:, 1],
                   s=300, linewidth=1, facecolors='none');
    ax.set_xlim(xlim)
    ax.set_ylim(ylim)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(model);

image.png

这就是两类数据间隔最大的分割线。你会发现有一些点正好就在边界线上。这些点是拟合的关键支持点,被称为支持向量,支持向量机算法也因此得名。在Scikit-Learn 里面,支持向量的坐标存放在分类器的support_vectors_ 属性中:

model.support_vectors_

image.png

分类器能够成功拟合的关键因素,就是这些支持向量的位置——任何在正确分类一侧远离边界线的点都不会影响拟合结果!从技术角度解释的话,是因为这些点不会对拟合模型的损失函数产生任何影响,所以只要它们没有跨越边界线,它们的位置和数量就都无关紧要。

例如,可以分别画出数据集前60 个点和前120 个点的拟合结果,并进行对比

def plot_svm(N=10, ax=None):
    X, y = make_blobs(n_samples=200, centers=2,
                      random_state=0, cluster_std=0.60)
    X = X[:N]
    y = y[:N]
    model = SVC(kernel='linear', C=1E10)
    model.fit(X, y)
    
    ax = ax or plt.gca()
    ax.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
    ax.set_xlim(-1, 4)
    ax.set_ylim(-1, 6)
    plot_svc_decision_function(model, ax)

fig, ax = plt.subplots(1, 2, figsize=(16, 6))
fig.subplots_adjust(left=0.0625, right=0.95, wspace=0.1)
for axi, N in zip(ax, [60, 120]):
    plot_svm(N, axi)
    axi.set_title('N = {0}'.format(N))

image.png

我们在左图中看到的是前60个训练样本的模型和支持向量。在右图中,虽然我们画了前120 个训练样本的支持向量,但是模型并没有改变:左图中的3个支持向量仍然适用于右图。这种对远离边界的数据点不敏感的特点正是SVM 模型的优点之一。

from ipywidgets import interact, fixed
interact(plot_svm, N=[10, 200], ax=fixed(None));

image.png

2.超越线性边界:核函数SVM模型

将SVM 模型与核函数组合使用,功能会非常强大。那时,我们将数据投影到多项式和高斯基函数定义的高维空间中,从而实现用线性分类器拟合非线性关系。

在SVM 模型中,我们可以沿用同样的思路。为了应用核函数,引入一些非线性可分的数据。

from sklearn.datasets.samples_generator import make_circles
X, y = make_circles(100, factor=.1, noise=.1)

clf = SVC(kernel='linear').fit(X, y)

plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(clf, plot_support=False);

image.png

显然,这里需要用非线性判别方法来分割数据。回顾一下介绍的基函数回归方法,想想如何将数据投影到高维空间,从而使线性分割器可以派上用场。例如,一种简单的投影方法就是计算一个以数据圆圈(middle clump)为中心的径向基函数:

r = np.exp(-(X ** 2).sum(1))

可以通过三维图来可视化新增的维度

from mpl_toolkits import mplot3d

def plot_3D(elev=30, azim=30, X=X, y=y):
    ax = plt.subplot(projection='3d')
    ax.scatter3D(X[:, 0], X[:, 1], r, c=y, s=50, cmap='autumn')
    ax.view_init(elev=elev, azim=azim)
    ax.set_xlabel('x')
    ax.set_ylabel('y')
    ax.set_zlabel('r')

interact(plot_3D, elev=[-90, 90], azip=(-180, 180),
         X=fixed(X), y=fixed(y));

image.png

增加新维度之后,数据变成了线性可分状态。如果现在画一个分割平面,例如r = 0.7,即可将数据分割。

我们还需要仔细选择和优化投影方式;如果不能将径向基函数集中到正确的位置,那么就得不到如此干净、可分割的结果。通常,选择基函数比较困难,我们需要让模型自动指出最合适的基函数。

一种策略是计算基函数在数据集上每个点的变换结果,让SVM 算法从所有结果中筛选出最优解。这种基函数变换方式被称为核变换,是基于每对数据点之间的相似度(或者核函数)计算的。

这种策略的问题是,如果将N个数据点投影到N维空间,当N不断增大的时候就会出现维度灾难,计算量巨大。但由于核函数技巧(http://bit.ly/2fStZeA) 提供的小程序可以隐式计算核变换数据的拟合,也就是说,不需要建立完全的N 维核函数投影空间!这个核函数技巧内置在SVM 模型中,是使SVM 方法如此强大的充分条件。

在Scikit-Learn 里面,我们可以应用核函数化的SVM 模型将线性核转变为RBF(径向基函数)核,设置kernel模型超参数即可.

clf = SVC(kernel='rbf', C=1E6)
clf.fit(X, y)

image.png

plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(clf)
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1],
            s=300, lw=1, facecolors='none');

image.png

通过使用这个核函数化的支持向量机,我们找到了一条合适的非线性决策边界。在机器学习中,核变换策略经常用于将快速线性方法变换成快速非线性方法,尤其是对于那些可以应用核函数技巧的模型.

3.SVM优化:软化边界

到目前为止,我们介绍的模型都是在处理非常干净的数据集,里面都有非常完美的决策边界。但如果你的数据有一些重叠该怎么办呢?例如,有如下所示一些数据

X, y = make_blobs(n_samples=100, centers=2,
                  random_state=0, cluster_std=1.2)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn');

image.png

为了解决这个问题,SVM 实现了一些修正因子来“软化”边界。为了取得更好的拟合效果,它允许一些点位于边界线之内。边界线的硬度可以通过超参数进行控制,通常是C。

如果C 很大,边界就会很硬,数据点便不能在边界内“生存”;如果C比较小,边界线比较软,有一些数据点就可以穿越边界线。

X, y = make_blobs(n_samples=100, centers=2,
                  random_state=0, cluster_std=0.8)

fig, ax = plt.subplots(1, 2, figsize=(16, 6))
fig.subplots_adjust(left=0.0625, right=0.95, wspace=0.1)

for axi, C in zip(ax, [10.0, 0.1]):
    model = SVC(kernel='linear', C=C).fit(X, y)
    axi.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
    plot_svc_decision_function(model, axi)
    axi.scatter(model.support_vectors_[:, 0],
                model.support_vectors_[:, 1],
                s=300, lw=1, facecolors='none');
    axi.set_title('C = {0:.1f}'.format(C), size=14)

image.png

参数C 的最优值视数据集的具体情况而定,通过交叉检验或者类似的程序进行计算

3、案例:人脸识别

我们用人脸识别案例来演示支持向量机的实战过程。这里用Wild 数据集中带标记的人脸图像,里面包含了数千张公开的人脸照片。Scikit-Learn 内置了获取照片数据集的功能:

from sklearn.datasets import fetch_lfw_people
faces = fetch_lfw_people(min_faces_per_person=60)
print(faces.target_names)
print(faces.images.shape)

image.png
image.png

fig, ax = plt.subplots(3, 5)
for i, axi in enumerate(ax.flat):
    axi.imshow(faces.images[i], cmap='bone')
    axi.set(xticks=[], yticks=[],
            xlabel=faces.target_names[faces.target[i]])

每个图像包含[62×47]、接近3000 像素。虽然可以简单地将每个像素作为一个特征,但是更高效的方法通常是使用预处理器来提取更有意义的特征。这里使用主成分分析来提取150 个基本元素,然后将其提供给支持向量机分类器。可以将这个预处理器和分类器打包成管道:

from sklearn.svm import SVC
from sklearn.decomposition import RandomizedPCA
from sklearn.pipeline import make_pipeline

pca = RandomizedPCA(n_components=150, whiten=True, random_state=42)
svc = SVC(kernel='rbf', class_weight='balanced')
model = make_pipeline(pca, svc)

为了测试分类器的训练效果,将数据集分解成训练集和测试集进行交叉检验:

from sklearn.cross_validation import train_test_split
Xtrain, Xtest, ytrain, ytest = train_test_split(faces.data, faces.target,
                                                random_state=42)

最后,用网格搜索交叉检验来寻找最优参数组合。通过不断调整参数C(控制边界线的硬度)和参数gamma(控制径向基函数核的大小),确定最优模型:

from sklearn.grid_search import GridSearchCV
param_grid = {'svc__C': [1, 5, 10, 50],
              'svc__gamma': [0.0001, 0.0005, 0.001, 0.005]}
grid = GridSearchCV(model, param_grid)

%time grid.fit(Xtrain, ytrain)
print(grid.best_params_)

最优参数最终落在了网格的中间位置。如果它们落在了边缘位置,我们可能就需要扩展网格搜索范围,确保最优参数可以被搜索到。

有了交叉检验的模型,现在就可以对测试集的数据进行预测了:

model = grid.best_estimator_
yfit = model.predict(Xtest)
fig, ax = plt.subplots(4, 6)
for i, axi in enumerate(ax.flat):
    axi.imshow(Xtest[i].reshape(62, 47), cmap='bone')
    axi.set(xticks=[], yticks=[])
    axi.set_ylabel(faces.target_names[yfit[i]].split()[-1],
                   color='black' if yfit[i] == ytest[i] else 'red')
fig.suptitle('Predicted Names; Incorrect Labels in Red', size=14);

在这个小样本中,我们的最优评估器只判断错了一张照片(最后一行中布什的照片被误判为布莱尔)。我们可以打印分类效果报告,它会列举每个标签的统计结果,从而对评估器的性能有更全面的认识:

from sklearn.metrics import classification_report
print(classification_report(ytest, yfit,
                            target_names=faces.target_names))

还可以画出这些标签的混淆矩阵

from sklearn.metrics import confusion_matrix
mat = confusion_matrix(ytest, yfit)
sns.heatmap(mat.T, square=True, annot=True, fmt='d', cbar=False,
            xticklabels=faces.target_names,
            yticklabels=faces.target_names)
plt.xlabel('true label')
plt.ylabel('predicted label');

真实环境中的人脸识别问题的照片通常不会被切割得这么整齐(即使像素相同),两类人脸分类机制的唯一差别其实是特征选择:你需要用更复杂的算法找到人脸,然后提取图片中与像素化无关的人脸特征。这类问题有一个不错的解决方案,就是用 OpenCV(http://opencv.org) 配合其他手段,包括最先进的通用图像和人脸图像的特征提取工具,来获取人脸特征数据。

4、支持向量机总结

前面已经简单介绍了支持向量机的基本原则。支持向量机是一种强大的分类方法,主要有四点理由。

模型依赖的支持向量比较少,说明它们都是非常精致的模型,消耗内存少。

一旦模型训练完成,预测阶段的速度非常快。

由于模型只受边界线附近的点的影响,因此它们对于高维数据的学习效果非常好——即使训练比样本维度还高的数据也没有问题,而这是其他算法难以企及的。

与核函数方法的配合极具通用性,能够适用不同类型的数据。

但是,SVM 模型也有一些缺点。

随着样本量N 的不断增加,最差的训练时间复杂度会达到 [N3];经过高效处理后,也只能达到 [N2]。因此,大样本学习的计算成本会非常高。

训练效果非常依赖于边界软化参数C 的选择是否合理。这需要通过交叉检验自行搜索;当数据集较大时,计算量也非常大。

如果你也有想分享的干货,可以登录天池实验室(notebook),包括赛题的理解、数据分析及可视化、算法模型的分析以及一些核心的思路等内容。

小天会根据你分享内容的数量以及程度,给予丰富的神秘天池大礼以及粮票奖励。分享成功后你也可以通过下方钉钉群主动联系我们的社区运营同学(钉钉号:yiwen1991)

天池宝贝们有任何问题,可在戳“留言”评论或加入钉钉群留言,小天会认真倾听每一个你的建议!

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
天池大数据科研平台
使用钉钉扫一扫加入圈子
+ 订阅

于阿里云的开放数据处理服务ODPS

官方博客
官网链接