铰链损失如何与 SVM 的原始形式/对偶形式相关

数据挖掘 支持向量机 铰链损失
2022-02-18 17:13:15

我正在学习支持向量机,许多经典教程都将支持向量机问题的公式化为凸优化问题:即我们的目标函数具有松弛变量并受约束。大多数教程都会从这个原始问题公式推导到经典公式(使用拉格朗日乘数,获得对偶形式等)。当我按照这些步骤进行操作时,经过一段时间的学习,它们最终变得有意义。

但是 SVM 的一个重要概念是铰链损失。如果我没记错的话,铰链损失公式与我上面描述的所有步骤完全分开。在阅读导出 SVM 问题公式的教程时,我找不到铰链损失在哪里发挥作用。

现在,我只知道 SVM 是一个经典的凸优化/线性规划问题,其目标函数和松弛变量受约束。这与铰链损失有什么关系?

1个回答

样本点的铰链损失i

l(yi,zi)=max(0,1yizi)

zi=wTxi+b

我们想最小化

min1ni=1nl(yi,wTxi+b)+w2

可以写成

min1ni=1nmax(0,1yi(wTxi+b))+w2

可以写成

min1ni=1nζi+w2

服从

ζi0

ζi1yi(wTxi+b)

约束来自铰链损失。它是对极小极大优化问题的重新表述。