SVM中内核的区别?

机器算法验证 机器学习 支持向量机 模式识别 内核技巧
2022-01-23 00:54:11

有人可以告诉我 SVM 中内核之间的区别:

  1. 线性
  2. 多项式
  3. 高斯 (RBF)
  4. 乙状结肠

因为我们知道内核用于将我们的输入空间映射到高维特征空间。在那个特征空间中,我们找到了线性可分的边界......

什么时候使用它们(在什么条件下),为什么?

4个回答

依靠读者对内核的基本知识。

线性核:K(X,Y)=XTY

多项式核:K(X,Y)=(γXTY+r)d,γ>0

径向基函数 (RBF) 核:,其简单形式可写为K(X,Y)=exp(XY2/2σ2)exp(γXY2),γ>0

Sigmoid Kernel:,类似于逻辑回归中的sigmoid函数。K(X,Y)=tanh(γXTY+r)

这里是核参数。rdγ

这个问题可以从理论和实践的角度来回答。根据无免费午餐定理的理论,不能保证一个内核比另一个内核工作得更好。那是您永远不知道的先验知识,也无法找出哪个内核会更好地工作。

从实用的角度来看,请参阅以下页面:

如何为 SVM 选择内核?

线性内核是您所期望的,一个线性模型。我相信多项式内核是相似的,但边界是一些已定义但任意的顺序

(例如订单 3: )。a=b1+b2X+b3X2+b4X3

RBF 使用数据点周围的正态曲线,并对这些曲线求和,以便决策边界可以由一种拓扑条件定义,例如总和大于 0.5 的曲线。(看这张照片

在此处输入图像描述

我不确定 sigmoid 内核是什么,除非它类似于逻辑回归模型,其中逻辑函数用于根据逻辑值大于某个值(建模概率)的位置定义曲线,例如像正常值一样的 0.5案子。

在思考内核“有什么好处”或何时应该使用时,没有硬性规定。

如果你的分类器/回归器在给定的内核上表现良好,那么它是合适的,如果不是,考虑换成另一个。

可以通过查看一些可视化示例来了解内核的性能,特别是如果它是一个分类模型,例如https://gist.github.com/WittmannF/60680723ed8dd0cb993051a7448f7805