边际可能性与先验预测概率

机器算法验证 贝叶斯 事先的
2022-03-19 19:51:49

在贝叶斯框架中,对我来说,边际似然和先验预测分布/概率似乎是相等的。是这样吗?或者这可能只适用于单个数据点?为什么这两个术语有区别?

边际可能性(证据):

p(X|α)=θp(X|θ)p(θ|α) dθ

先验预测分布:

p(x~|α)=θp(x~|θ)p(θ|α)dθ

2个回答

我假设α包含定义您的先验的值θ. 在这种情况下,我们通常会省略α从符号和有边际似然

p(X)=p(X|θ)p(θ)dθ.
先验预测分布没有很好地定义,因为您没有告诉我您想要预测的是什么,例如,在预测单个数据点和预测一组观察值时,先验预测分布是不同的。在符号中,这是令人困惑的,因为p(x~|θ)取决于什么x~是。

如果您想预测与您观察到的数据具有完全相同结构的数据,那么边际似然只是在您观察到的数据上评估的这种结构的数据的先验预测分布,即边际似然是一个数字,而先验预测分布具有概率密度(或质量)函数。

对于参数模型M={p(θ,α)}有两个参数θα配备了先验分布π(θ,α)然后(“联合”)可能性(θ,α)x已观察到的定义为

L(θ,αx)θ,αp(xθ,α).
请参阅此处了解我的符号θ,α.

边际可能性_α通过在条件先验分布上积分联合似然度获得π(θα)

L~(αx)αL(θ,αx)π(θα)dθ.
这不过是新模型的“普通”可能性M~={p~(α)}带参数α,通过在条件先验分布上积分原始采样分布获得π(θα)
p~(xα)=p(xθ,α)π(θα)dθ
这也是条件先验预测分布(的x给定α)。使用边际先验分布π(α)α对于这个模型,产生完全相同的后验分布:
π(αx)απ(α)L~(αx).

综上所述,边际似然是其采样分布是条件先验预测分布的模型的似然。