一、线性不可分问题

有时线性可分的数据夹杂一点噪声，可以通过改进算法来实现分类，比如感知机的口袋算法和支持向量机的软间隔。但是有时候数据往往完全不是线性可分的，比如下面这种情况：

                                                XOR问题

然后在新的空间中，该数据就可以实现线性可分：

                                                          XOR问题

二、核方法的引出

映射到高维空间以后出现的问题是计算复杂度的加大，例如在支持向量机的求解过程中求解的优化问题可以转换为如下的优化问题：

将数据映射到高维空间后也就需要求解以下优化问题：

将数据拓展到高维的方法可以用来解决完全非线性的问题：

Hilbert空间定义中的完备指的是对极限是封闭的，被赋予内积代表空间中的元素满足以下性质：

因为支持向量机的求解只用到内积运算，所以使用核函数会大大简化运算量。

三、正定核函数的证明

正定核函数还有另外一个定义：

这个定义也就是正定核函数的充要条件，其中两条性质分别指的是：

然后证明

得证。

说明一下证明矩阵半正定的两种方法：