内核回归类似于高斯过程回归吗?

机器算法验证 回归 非参数 高斯过程 内核平滑
2022-03-12 02:33:36

我之前使用过 Nadaraya-Watson 内核回归来平滑数据。最近我遇到了高斯过程回归。

从表面上看,它们似乎没有关系。但我想知道是否可能存在我不知道的更深层次的联系。Nadaraya-Watson 核回归是 GPR 的一个特例吗?

2个回答

是的,有联系,取决于 GP 协方差函数和平滑器的内核。它在机器学习的高斯过程的第 2 章(第 2.6 节)中进行了讨论请注意,即使是简单的协方差函数,例如平方指数,由于函数的光谱特性,也会产生复杂的等效核。

其他需要注意的是:

  • 在多变量设置中,N-WKR 归结为每个维度的单变量回归(请参阅答案),而 GP 可以对完整的多变量协方差建模。
  • 没有等价于 GP 均值函数
  • N-WKR 中的内核不必是有效的 GP 协方差函数,并且每个内核可能没有等效的协方差函数
  • 例如,周期性协方差函数没有明显的等价物作为内核平滑器
  • 在 GP 中,您可以自由组合协方差函数(例如,通过乘法或加法),参见例如内核食谱

高斯过程建模是一种核技术,这意味着 GPM 使用核函数来描述观测数据点之间的多元高斯协方差,而回归用于找到最能描述观测数据的核参数(超参数) . 高斯过程建模可以从观察到的数据中推断出空间中任何点的插值平均函数(具有由核函数决定的相关不确定性)。

以下是 GPM 上的一些资源,详细描述了通常使用的核函数类型以及用于估计核超参数的方法:

http://www.gaussianprocess.org/gpml/

http://www.eurandom.tue.nl/events/workshops/2010/YESIV/Prog-Abstr_files/Ghahramani-lecture2.pdf