有哪些可用的基本内核?

机器算法验证 高斯过程 内核技巧
2022-03-26 12:19:47

我目前正在关注CE Rasmussen 和 CKI Williams的《机器学习的高斯过程》一书,我在他们的第 4 章中遇到了各种内核

我还阅读了内核食谱,它很好地描述了各种可用的基本内核,以及我们如何通过添加、乘法和卷积这些基本内核来创建新内核。

由于我们知道高斯过程中的回归取决于​​内核的选择,所以我想问一下除了以下内核之外是否还有其他基本内核,它们绘制了什么样的函数?

  1. 常数σo2

  2. 线性核kLin(x,x)=(xc)(xc)

  3. 平方指数核kSE(x,x)=σ2exp((xx)222) (7 个子集)

  4. 母婴12ν1Γ(ν)(2νlr)νKν(2νlr)

  5. 有理二次核kRQ(x,x)=σ2(1+(xx)22α2)α (4 个子集)

  6. 指数exp(rl) (7 个子集)

  7. γ- 指数exp((rl)γ)

  8. 周期性内核kPer(x,x)=σ2exp(2sin2(π|xx|/p)2)

  9. 神经网络

1个回答

神经网络不是内核,它们是一种学习算法。

存在大量内核函数,例如:

  • sigmoid,由于其对神经网络的影响,在核方法的早期很流行;现在没有真正大量使用
  • Tanimoto/Jaccard/diffusion,流行于二元特征
  • 树/图内核,在自然语言处理中很流行
  • 直方图内核,在图像处理中很流行——本质上它是 RBF 内核的一个非常快速的近似值

正确的内核很大程度上取决于数据的性质。最好的内核通常是定制的,尤其是在生物信息学方面。Gaussian/RBF 和线性内核是迄今为止最流行的内核,其次是多项式内核。