# 【机器学习】支持向量机中的核函数（理论+图解+公式推导）

2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。

# 二、核函数

K ( x , z ) = < ϕ ( x ) , ϕ ( z ) > = x T z = x ⋅ z K(x,z)=<\phi (x),\phi(z)>=x^Tz=x·zK(x,z)=<ϕ(x),ϕ(z)>=xTz=xz

1.线性核（Linear Kernel）

K ( x , z ) = x T z = x ⋅ z = < x , z > K(x,z)=x^Tz=x·z=<x,z>K(x,z)=xTz=xz=<x,z>

2.多项式核（Polynomial Kernel）

K ( x , z ) = ( a x T z + c ) d = ( a x ⋅ z + b ) d K(x,z)=(ax^Tz+c)^d=(ax·z+b)^dK(x,z)=(axTz+c)d=(axz+b)d

K ( x , z ) = e − ∣ ∣ x − y ∣ ∣ 2 2 σ 2 K(x,z)=e^{-\frac{||x-y||^2}{2\sigma^2}}K(x,z)=e2σ2xy2

K ( x , z ) = e − γ ∣ ∣ x − y ∣ ∣ 2 K(x,z)=e^{-\gamma||x-y||^2}K(x,z)=eγxy2

4.拉普拉斯核（Laplacian Kernel）

K ( x , z ) = e − ∣ ∣ x − y ∣ ∣ σ K(x,z)=e^{-\frac{||x-y||}{\sigma}}K(x,z)=eσxy

1.如果满足其为核函数，此时如果对于任意的X属于R，而 ϕ ∈ H \phi \in HϕH ，且服从 K ( x , z ) = < ϕ ( x ) , ϕ ( z ) > K(x,z)=<\phi(x),\phi(z)>K(x,z)=<ϕ(x),ϕ(z)>，那么则称其为正定核函数

2.如果 K ( x , z ) K(x,z)K(x,z) 满足下面两条性质则称正定核函数

（1）对称性：K ( x , z ) = K ( z , x ) K(x,z)=K(z,x)K(x,z)=K(z,x)

（2）正定性：满足Gram matrix是半正定矩阵，该矩阵的形式为 G r a m = [ K i , j ] Gram=[K_{i,j}]Gram=[Ki,j]

# 三、证明Gram matrix为半正定矩阵的必要性

1.矩阵的特征值大于等于0

2.对于任意的列向量x都满足 x T A x ≥ 0 x^TAx\geq0xTAx0 ，则说明A矩阵为半正定矩阵

x T K x = [ x 1 , x 2 , . . . , x n ] [ K 11 , K 12 . . . K 1 n K 21 , K 22 . . . K 2 n K n 1 , K n 2 , , , K n n ] [ x 1 x 2 . . . x n ] x^TKx=

[x1,x2,...,xn][x1,x2,...,xn]

K11,K12...K1nK21,K22...K2nKn1,Kn2,,,Knn[K11,K12...K1nK21,K22...K2nKn1,Kn2,,,Knn]

x1x2...xn[x1x2...xn]

xTKx=[x1,x2,...,xn]K11,K12...K1nK21,K22...K2nKn1,Kn2,,,Knnx1x2...xn

= ∑ i = 1 n ∑ j = 1 n x i x j K i j =\sum_{i=1}^n\sum_{j=1}^nx_ix_jK_{ij}=i=1nj=1nxixjKij

= ∑ i = 1 n ∑ j = 1 n x i x j < ϕ ( x i ) , ϕ ( x j ) > =\sum_{i=1}^n\sum_{j=1}^nx_ix_j<\phi(x_i),\phi(x_j)>=i=1nj=1nxixj<ϕ(xi),ϕ(xj)>

= ∑ i = 1 n ∑ j = 1 n x i x j ϕ ( x i ) T ϕ ( x j ) =\sum_{i=1}^n\sum_{j=1}^nx_ix_j\phi(x_i)^T\phi(x_j)=i=1nj=1nxixjϕ(xi)Tϕ(xj)

= ∑ i = 1 n x i ϕ ( x i ) T ∑ j = 1 n x j ϕ ( x j ) =\sum_{i=1}^nx_i\phi(x_i)^T\sum_{j=1}^nx_j\phi(x_j)=i=1nxiϕ(xi)Tj=1nxjϕ(xj)

= [ ∑ i = 1 n x i ϕ ( x i ) ] T ∑ j = 1 n x j ϕ ( x j ) =[\sum_{i=1}^nx_i\phi(x_i)]^T\sum_{j=1}^nx_j\phi(x_j)=[i=1nxiϕ(xi)]Tj=1nxjϕ(xj)

= ∣ ∣ ∑ i = 1 m x i ϕ ( x i ) ∣ ∣ 2 ≥ 0 =||\sum_{i=1}^mx_i\phi(x_i)||^2\geq0=i=1mxiϕ(xi)20

# 四、SVM支持向量机中的核函数

m i n − ∑ j = 1 m λ i + 1 2 ∑ i = 1 m ∑ j = 1 m λ i λ j y i y j ( x i T x j ) min-\sum_{j=1}^m\lambda_i+\frac{1}{2}\sum_{i=1}^m\sum_{j=1}^m\lambda_i\lambda_jy_iy_j(x_i^Tx_j)minj=1mλi+21i=1mj=1mλiλjyiyj(xiTxj)

m i n − ∑ j = 1 m λ i + 1 2 ∑ i = 1 m ∑ j = 1 m λ i λ j y i y j K ( x i , x j ) min-\sum_{j=1}^m\lambda_i+\frac{1}{2}\sum_{i=1}^m\sum_{j=1}^m\lambda_i\lambda_jy_iy_jK(x_i,x_j)minj=1mλi+21i=1mj=1mλiλjyiyjK(xi,xj)

|
4月前
|

【5月更文挑战第27天】在数据科学和人工智能的领域中，支持向量机（SVM）是一种强大的监督学习模型，它基于统计学习理论中的VC维理论和结构风险最小化原理。本文将详细介绍SVM的工作原理、核心概念以及如何在实际问题中应用该算法进行分类和回归分析。我们还将讨论SVM面临的挑战以及如何通过调整参数和核技巧来优化模型性能。
91 0
|
1月前
|

【机器学习】SVM面试题：简单介绍一下SVM？支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比，该如何选择？SVM为什么采用间隔最大化？为什么要将求解SVM的原始问题转换为其对偶问题？

47 3
|
1月前
|

【8月更文挑战第6天】在机器学习领域，支持向量机（SVM）犹如璀璨明珠。它是一种强大的监督学习算法，在分类、回归及异常检测中表现出色。SVM通过在高维空间寻找最大间隔超平面来分隔不同类别的数据，提升模型泛化能力。为处理非线性问题，引入了核函数将数据映射到高维空间。SVM在文本分类、图像识别等多个领域有广泛应用，展现出高度灵活性和适应性。
87 2
|
1月前
|

【机器学习】支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比，该如何选择（面试回答）？

36 1
|
3月前
|

【阿旭机器学习实战】【34】使用SVM检测蘑菇是否有毒--支持向量机
【阿旭机器学习实战】【34】使用SVM检测蘑菇是否有毒--支持向量机
36 0
|
4月前
|

【5月更文挑战第13天】支持向量机(SVM)是监督学习中的强分类算法，用于文本分类、图像识别等领域。它寻找超平面最大化间隔，支持向量是离超平面最近的样本点。SVM通过核函数处理非线性数据，软间隔和正则化避免过拟合。应用步骤包括数据预处理、选择核函数、训练模型、评估性能及应用预测。优点是高效、鲁棒和泛化能力强，但对参数敏感、不适合大规模数据集且对缺失数据敏感。理解SVM原理有助于优化实际问题的解决方案。
275 3
|
4月前
|

【5月更文挑战第6天】在数据科学和人工智能的广阔天地中，支持向量机（SVM）以其强大的分类能力与理论深度成为机器学习领域中的一个闪亮的星。本文将深入探讨SVM的核心原理、关键特性以及实际应用案例，为读者提供一个清晰的视角来理解这一高级算法，并展示如何利用SVM解决实际问题。
176 7
|
4月前
|

【5月更文挑战第31天】 在数据科学的广阔天地中，支持向量机（SVM）以其卓越的性能和强大的理论基础脱颖而出。本文将深入剖析SVM的工作原理、核心概念以及实际应用，旨在为读者提供一个清晰的理解视角，并通过实例演示其在分类问题中的有效性。我们将从线性可分的情况出发，逐步过渡到非线性问题的处理方法，并探讨如何通过调整参数来优化模型的性能。
275 0
|
4月前
|

【5月更文挑战第28天】 在数据科学与人工智能的领域中，支持向量机（Support Vector Machines, SVM）是一种强大的监督学习模型，它基于统计学习理论中的VC维理论和结构风险最小化原则。本文将深入探讨SVM的数学原理、关键概念以及实际应用案例。我们将透过SVM的镜头，理解其在分类和回归问题中的应用，并讨论如何通过核技巧克服维度灾难，提高模型的泛化能力。文章还将展示使用SVM解决实际问题的步骤和注意事项，为读者提供一个清晰的SVM应用指南。
36 0
|
4月前
|

266 0