SVM 约束中的 1 Unit 是什么:是的一世( wX一世+ b ) ≥ 1yi(wxi+b)≥1

数据挖掘 机器学习 支持向量机
2022-03-10 19:15:38

我正在关注SVM 上的这个注释。

约束基本上表示所有输入位于正确一侧距超平面至少 1 个单位的位置。yi(wxi+b)1xi

1个单位是什么意思?在二维空间中,这是否意味着将超平面向上移动 1?w

3个回答

它是一个距离单位,我通常会假设欧几里得距离。

更详细地说:

数据点xi被投影到向量上w,它定义了有区别的线性超平面的方向,因为它正交于w. 判别超平面沿方向“固定”w由偏置项决定b.

所以为了分类一个积极的数据点x+我们想要wx++b为正数。

对于负x数据点wx+b应该是负数。

我们可以通过使用标签将这两个不期望的结果组合成一个约束,所以我们想要y+(wx++b)0y(wx+b)0.

通过更换0具有正值d0,我们可以改变约束来编码我们希望点应该是d远离判别超平面,给出的约束是yi(wxi+b)d.

什么样的距离单位取决于向量空间。通常使用欧几里得向量空间中的正交投影,在这种情况下,它将是欧几里得距离。

SVM 的主要公式是 -yi(wxi+b)d

在推导过程中,将其改为1,使其对所有超平面都标准化。
如果必须描述,它将是 -
“大于” “每单位最小边距距离”

假设,
如果一个超平面的最小边距点在4 欧几里得距离
另一个超平面的最小边距点在4.5 欧几里得距离

所以,这个 1 意味着, 第一个超平面 “每 4 个单位”的1 个单位和另一个超平面的“每 4.5 个单位”的 1 个单位yi(wxi+b)

这意味着什么-
这更多是为了数学上的方便它添加的另一个简洁之处是,最大化方程从 F/
变为 1/F是离平面最近的点的距离。ww

为什么它不会影响点位置
,平面即不会改变所以我们以这样的方式重新调整它,使得 F 变为 1。这个“1”对于不同的超平面会有所不同,具体取决于它的(wxi+b)wb
w

简洁地从支持向量机添加了此屏幕
如果你想用 python 代码对 SVM 进行非常详细的从头到尾的解释,请阅读它


在此处输入图像描述


SVM 的良好参考
Alexandre Kowalczyk
Shuzhanfan Yaser
Abu-Mostafa 教授

Actaully 1 无关紧要。这只是一个随机参数。没有真正的意义。你只是假设一些积极的距离。

Because the hyperplane is scale invariant, we can fix the scale of w,b anyway we want. Let's be clever about it, and choose it such that