SVM（四）：支持向量回归

4. 支持向量回归

• 4.1 问题定义
• 4.2 对偶问题

4.1 问题定义

给定训练样本D = { ( _X1 ,^y₁  ) , (_X2, ^Y₂ ) , . . . , (^X_m  , ^Y_m) } y i∈R，希望学得形如 f ( x ) = ^WTX + b   的模型，使f ( x ) 与 y 与yf(x)与y尽可能接近，其中w 和b 是待确定参数。

支持向量回归（SVR，Support Vector Regression）假设能够容忍f ( x ) 与y 之间最多ϵ 的偏差，即仅当f ( x ) 与y之间的差别绝对值大于ϵ 时才计算损失。这相当于以

为中心，构建了一个宽带2 ϵ 的间隔带，若训练样本落入此间隔带，则被认为预测正确

SVR优化目标如下：

其中C > 0 是正则化常数，l ϵ 是ϵ 不敏感损失（ϵ \epsilonϵ-insensitive loss）损失函数：

4.2 对偶问题

引入松弛变量 （两边松弛变量可能不同），优化目标变为：

引入拉格朗日乘子

其中，

优化目标

满足KTT条件，对偶问题为：

首先通过对w , b , 求偏导，计算极小值：

代回至

原问题最终转换为如下形式的对偶问题：

此时，优化函数仅有α ∧ , α ∨ 做为参数，可采用SMO（Sequential Minimal Optimization）求解，进而得出w , b 。