试图理解高斯过程

机器算法验证 机器学习 高斯过程
2022-03-07 00:13:32

我正在阅读 GPML 书,在第 2 章(第 15 页)中,它讲述了如何使用高斯过程(GP)进行回归,但我很难弄清楚它是如何工作的。

在参数模型的贝叶斯推理中,我们首先选择模型参数的先验θ, 那是p(θ); 第二,给定训练数据D,我们计算似然度p(D|θ); 最后我们有θ作为p(θ|D), 将用于预测分布

p(y|x,D)=p(y|x,θ)p(θ|D)dθ
,以上就是我们在贝叶斯推理中对参数模型所做的,对吧?

好吧,正如书中所说,GP是非参数的,据我所知,在指定均值函数之后 m(x)协方差函数 k(x,x), 我们有一个 GP over 函数f,

fGP(m,k)
,这是先验f. 现在我有一个无噪声的训练数据集
D={(x1,f1),...,(xn,fn)}
,我以为我应该计算似然 p(D|f)然后是 p(f|D),最后使用后验进行预测。

然而,这不是本书所做的!我的意思是,在指定先验之后p(f),它不计算似然性和后验,而只是直接进行预测预测。

问题:

1)为什么不计算似然和后验?仅仅因为 GP 是非参数的,所以我们不这样做?

2)正如书中所做的(第15~16页),它通过训练数据集的联合分布得出预测分布f和测试数据集f,称为联合先验好吧,这让我很困惑,为什么要把它们结合在一起?

3)我看到一些文章调用f变量,为什么?

1个回答

以上就是我们在贝叶斯推理中对参数模型所做的事情,对吧?

这本书使用贝叶斯模型平均,这对于参数模型或任何其他贝叶斯方法都是相同的,因为您对参数有后验。

现在我有一个无噪声的训练数据集

它不需要“无噪音”。请参阅后面的页面。

然而,这不是本书所做的!我的意思是,在指定了先验 p(f) 之后,它不会计算似然性和后验性,而只是直接进行预测预测。

看到这个:https ://people.cs.umass.edu/~wallach/talks/gp_intro.pdf

我相信,在第 17 页中,我们有之前和之后的可能性。我相信,如果您编写推导,找到后验,然后对后验进行平均以进行预测(如在权重空间视图中),它将得出与第 19 页中的均值和协方差相同的方程。