后验和后验预测分布有什么区别?

机器算法验证 后部 定义
2022-02-09 09:53:53

我知道后验是什么,但我不确定后者是什么意思?

2个有什么不同?

Kevin P Murphy 在他的教科书《机器学习:概率视角》中指出,它是“一种内部信念状态”。那个的真实意义是什么?我的印象是,先验代表您的内部信念或偏见,我哪里错了?

3个回答

两者的简单区别在于后验分布取决于未知参数,即后验分布为: 其中是归一化常数。θ

p(θ|x)=c×p(x|θ)p(θ)
c

而另一方面,后验预测分布不依赖于未知参数,因为它已经被积分出来,即后验预测分布为: θ

p(x|x)=Θc×p(x,θ|x)dθ=Θc×p(x|θ)p(θ|x)dθ

其中是一个新的未观察到的随机变量,并且与无关。xx

我不会详述后验分布的解释,因为您说您理解它,但后验分布“是未知量的分布,被视为随机变量,以所获得的证据为条件”(维基百科)。所以基本上它的分布解释了你未知的随机参数。

另一方面,后验预测分布具有完全不同的含义,因为它是基于您已经看到的数据的未来预测数据的分布。所以后验预测分布基本上是用来预测新的数据值的。

如果有帮助,是后验分布和后验预测分布的示例图:

在此处输入图像描述

在此处输入图像描述

当您学习了某种预测模型的参数的后验分布时,通常会使用预测分布。例如,在贝叶斯线性回归中,在给定一些观察数据 X 的情况下,您可以学习模型 y=wX 的 w 参数的后验分布。
然后,当出现新的未见数据点 x* 时,您希望找到可能的预测 y 的分布* 给定你刚刚学到的 w 的后验分布。给定 w 的后验,在可能的 y* 上的分布是预测分布。

它们指的是两种不同事物的分布。

后验分布是指参数的分布,而预测后验分布(PPD)是指未来观测数据的分布。