与高斯过程的预测分布有关的混淆

机器算法验证 回归 正态分布 高斯过程
2022-04-05 05:08:13

我对高斯过程的预测分布感到困惑。我正在读这篇论文

在此处输入图像描述

我不明白集成是如何产生这个结果的。什么是 P(u*|x*,u)。还有后验分布的协方差怎么是σ2(σ2I+K)1K

2个回答

P(u|x,u) N(u(x) , ),直接来自的定义。σ2u

请注意,两个高斯 pdf 的积分是归一化的。可以看出

P(u|x,u)du=uP(u|x,u)P(u|s)dudu=uP(u|s)P(u|x,u)dudu=uP(u|s)N(uu(x);0,σ2)dudu=uP(u|s)duN(u;0,σ2)du=1

随着规范化的进行,

uP(u|x,u)P(u|s)du通过以下提示进行积分:

  1. 将 2 正态 pdf 代入方程并消除与无关的项,因为我们已经展示了归一化。u

  2. 使用完成平方技巧来积分多元指数,即用剩余的指数项构造一个多元正态pdf。请参阅此 YouTube 视频

  3. 最终,你会留下一个指数,就而言,可以观察到这又是一个远离正常 pdf 的因素。同样,规范化的证明让我们相信最终形式确实是一个正常的 pdf。pdf与原始帖子中给出的pdf相同。u

高斯过程条件分布方程的详细推导可以在本书 [Rasmussen2005] 的第 2 章和附录A中找到。

看看 (Eq. 2.23, 2.24) 及以上,它们基于高斯恒等式 (A.6) 和矩阵属性 (A.11)。


[Rasmussen2005] CE Rasmussen 和 C. Williams。机器学习的高斯过程麻省理工学院出版社,2005 年。