为什么 SVM 的拉格朗日乘数稀疏?

机器算法验证 支持向量机 拉格朗日乘数
2022-03-29 05:17:42

我已经阅读了最大边际分类器 SVM 的内容,在解决了对偶问题后,大多数拉格朗日乘数都为零。只有与支持向量相对应的那些结果是正的。

这是为什么?

1个回答

SVM 上下文中的拉格朗日乘数通常表示为人们经常观察到大多数Karush-Kuhn-Tucker (KKT)双重互补条件的直接结果:αiαi=0

在此处输入图像描述

由于 iff在 SVM 决策边界上,即假设在训练集,并且在大多数情况下,很少有训练向量是支持向量,正如 whuber 在评论中指出的那样,这意味着大多数是 0 或yi(wTxi+b)=1xixiαiC


Andrew Ng 关于 SVM 的 CS229 讲义介绍了 Karush-Kuhn-Tucker (KKT) 双重互补条件:

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

请注意,我们可以创建一些情况,其中训练集中的所有向量都是支持向量:例如,请参阅此Support Vector Machine Question