SVM 基础理论?

机器算法验证 机器学习 支持向量机 特征选择 内核技巧
2022-03-19 16:59:45

我对 SVM 有一些疑问:

  1. 在 SVM 中有一个非线性和线性 SVM。它们之间有什么区别?

  2. 要在 SVM 中进行分类,我们将找到线性可分边界(超平面)。如果我们找不到它,我们必须将输入空间投影到特征空间中。那个特征空间是什么意思?
    我在互联网上读到有人解释说特征空间是一个标量,我们通过内积得到这个标量。例如,我有一个输入空间矩阵A=[{(1,2);0},{(0,6);1}]; 其中 1, 2, 0, 6 是特征,0, 1 是标签。如何将输入空间 A 投影到特征空间中?

  3. 为什么大多数人都说使用内核技巧,我们实际上并没有将我们的数据投影到更高的空间?但是我们将它投影到一个低空间(因为内核技巧=标量)?

  4. 有许多内核类型:线性、多项式、RBF 和 sigmoid。我们如何确定我们必须为我们的数据使用哪种内核类型?

  5. 在这个网页上,我们可以看到使用多项式和 RBF 内核,我们没有找到线性可分的边界/超平面,但是有一条曲线,一个群(用于 RBF)。但如前所述,SVM 找到线性超平面?为什么它们不同?我感谢所有答案。

1个回答
  1. 非线性 SVM 是带有内核技巧的 SVM 的同义词。
  2. 这个想法是,如果原始空间中没有线性分离,它可能存在于其他空间中,很可能是更高维度的空间。内核技巧允许人们通过弄乱原始空间中的点积来隐式地构造这个空间;这就是为什么结果看起来在原始空间中存在非线性边界的原因。
    标量只是解释边界超平面的一种方式。您可以将点映射到垂直于边界的轴上,将零点挂在交点上,然后每个对象将获得一个坐标,该坐标对一个类为正,对另一个类为负。
  3. 看上面。
  4. 坚韧的东西;有时您知道数据将适合特定的内核,有时您希望这次 RBF 也足够好,但通常它是一个需要调整的额外超参数。
  5. 见 2。