样条与高斯过程回归

机器算法验证 回归 高斯过程 样条 克里金法
2022-02-13 02:24:42

我知道高斯过程回归 (GPR) 是使用样条拟合灵活非线性模型的替代方法。我想知道哪种情况比另一种更适合,尤其是在贝叶斯回归框架中。

我已经看过使用样条曲线、平滑样条曲线和高斯过程仿真器的优点/缺点是什么?但这篇文章中似乎没有关于 GPR 的任何内容。

3个回答

我同意@j__ 的回答。

但是,我想强调样条曲线只是高斯过程回归/克里金法的一个特例

如果在高斯过程回归中采用某种类型的核,则恰好得到样条拟合模型。

Kimeldorf 和 Wahba (1970)在这篇论文中证明了这一事实这是相当技术性的,因为它使用克里金法中使用的内核和再现内核希尔伯特空间 (RKHS) 之间的链接。

这是一个非常有趣的问题:在 Kimeldorf 和 Wahba 1970 中已经展示了高斯过程和平滑样条之间的等价关系。Bay 等人已经开发了在约束插值情况下这种对应关系的推广。2016 年。

湾等人。2016. 约束插值的 Kimeldorf-Wahba 对应的推广。电子统计杂志。

本文讨论了贝叶斯方法的优势。

我同意@xeon 的评论,GPR 也对无限数量的可能函数进行了概率分布,平均函数(类似于样条)只是 MAP 估计,但您对此也有差异。这为实验设计(选择信息量最大的输入数据)等提供了很好的机会。此外,如果您想对模型进行积分(正交),GP 将得到一个高斯结果,让您对结果充满信心。至少对于标准样条模型,这是不可能的。

在实践中,GPR 提供了更丰富的结果(根据我的经验),但根据我的经验,样条模型似乎更快。