SVR 支持向量回归 (Support Vector Regression)

核心思想

SVR 将 SVM 的最大间隔思想推广到回归：构建一个以 $ϵ$ 为半宽的"管道"，允许管道内的预测误差为零，仅惩罚落在管道外的样本。

$ϵ$-不敏感损失函数

$$L_{ϵ}(y,f(\mathbf{x}))=max(0,|y-f(\mathbf{x})|-ϵ)$$

• 预测值与真实值之差在 $[-ϵ,+ϵ]$ 内时，损失为 0
• 超出管道的部分按线性计损

优化问题

$$\underset{\mathbf{w},b}{min}\frac{1}{2}\parallel \mathbf{w}{\parallel }^2+C\sum _{i=1}^N({\xi }_i+{\xi }_i^{\ast })$$$$\text{s.t.}\{\begin{array}{l}{y}_i-{\mathbf{w}}^T{\mathbf{x}}_i-b\le ϵ+{\xi }_i\\ {\mathbf{w}}^T{\mathbf{x}}_i+b-y_i\le ϵ+{\xi }_i^{\ast }\\ {\xi }_i,{\xi }_i^{\ast }\ge 0\end{array}$$

对偶问题

引入拉格朗日乘子 ${\alpha }_i,{\alpha }_i^{\ast }$：

$$\underset{\mathit{\alpha },{\mathit{\alpha }}^{\ast }}{max}-\frac{1}{2}\sum _{i,j}({\alpha }_i-{\alpha }_i^{\ast })({\alpha }_j-{\alpha }_j^{\ast }){\mathbf{x}}_i^T{\mathbf{x}}_j-ϵ\sum _i({\alpha }_i+{\alpha }_i^{\ast })+\sum _i{y}_i({\alpha }_i-{\alpha }_i^{\ast })$$$$\text{s.t.}\sum _i({\alpha }_i-{\alpha }_i^{\ast })=0,0\le {\alpha }_i,{\alpha }_i^{\ast }\le C$$

预测函数

$$f(\mathbf{x})=\sum _{i=1}^N({\alpha }_i-{\alpha }_i^{\ast }){\mathbf{x}}_i^T\mathbf{x}+b$$

同样可以使用核函数 $K({\mathbf{x}}_i,\mathbf{x})$ 替换内积以处理非线性回归。

代码对应

python -m pipelines.regression.svr