一、硬间隔SVM

1. 模型定义

假设有以下数据：

                                                  支持向量机

超平面实现将数据的正例和负例分隔开，因此有：

另外最大间隔通过以下方式来表达：

然后求解支持向量机就可以转化为以下带约束的优化问题：

上述优化问题还可以进一步转化：

由此上述优化问题转化为：

这是一个带N个约束的凸优化问题。

2. 优化问题的转化

上述优化问题可以使用拉格朗日乘子法来求解，构建拉格朗日函数：

然后上述优化问题就可以转换为以下优化问题：

我们可以简单地看一下为什么可以这么转化：

然后使用以下结论继续对该优化问题进行转化：

因此该优化问题可以继续转化：

总结一下，该优化问题经历了以下转化过程：

3. 模型求解

• KKT条件
• 
  

首先定义该优化问题的KKT条件：

该优化问题满足上述KKT条件，这是由于以下定理：

二、软间隔SVM

我们的训练数据通常不是理想的线性可分，有时甚至是线性不可分的数据。对于存在噪声的一些数据，我们应该允许一点分类错误，因此我们需要对目标函数进行一些调整：

1. 使用误分类点的个数作为loss

显然使用的指示函数是不连续的，不利于求解，所以不使用这种loss函数。

2. 使用距离作为loss

                                                 合页损失函数

3. 软间隔SVM的优化问题

软间隔SVM也是使用拉格朗日乘子法进行求解。