在贝叶斯推理中,为什么有些术语会从后验预测中删除?

机器算法验证 贝叶斯 预测模型 推理 后部
2022-03-24 02:49:59

在凯文墨菲对高斯分布的共轭贝叶斯分析中,他写道,后验预测分布是

p(xD)=p(xθ)p(θD)dθ

在哪里D是拟合模型的数据,并且x是看不见的数据。我不明白的是为什么依赖D在积分的第一项中消失。使用概率的基本规则,我会期望:

p(a)=p(ac)p(c)dcp(ab)=p(ac,b)p(cb)dcp(xD)=p(xθ,D)p(θD)dθ

问:为什么会依赖D术语消失?


对于它的价值,我在其他地方看到过这种公式(在条件中删除变量)。例如,在 Ryan Adam 的Bayesian Online Changepoint Detection中,他将后验预测写为

p(xt+1rt)=p(xt+1θ)p(θrt,xt)dθ

又在哪里,因为D={xt,rt}, 我本来期望的

p(xt+1xt,rt)=p(xt+1θ,xt,rt)p(θrt,xt)dθ

2个回答

这是基于以下假设x有条件地独立于D, 给定θ. 在许多情况下这是一个合理的假设,因为它所说的只是训练和测试数据(Dx, 分别) 是从同一组未知参数独立生成的θ. 鉴于这种独立性假设,p(x|θ,D)=p(x|θ),所以D脱离了您所期望的更一般的形式。

在您的第二个示例中,似乎正在应用类似的独立性假设,但现在(明确地)跨越时间。这些假设可能会在文本的其他地方明确说明,或者对于足够熟悉问题上下文的任何人来说,它们可能是隐含的(尽管这并不一定意味着在您的特定示例中 - 我不熟悉- 作者认为这种熟悉是正确的)。

这是因为x假定独立于D给定θ. 换句话说,所有数据都被假定为来自带参数的正态分布θ. 一次θ使用来自的信息考虑到D, 没有更多信息表明D给我们一个新的数据点x. 所以p(x|θ,D)=p(x|θ).