适当的先验和指数似然会导致不适当的后验吗?

机器算法验证 贝叶斯 事先的 后部
2022-03-24 07:19:06

(这个问题的灵感来自西安的这篇评论。)

众所周知,如果先验分布π(θ)是适当的和可能性L(θ|x)是明确定义的,那么后验分布π(θ|x)π(θ)L(θ|x)几乎可以肯定是正确的。

在某些情况下,我们使用缓和或指数似然来代替,导致伪后验

π~(θ|x)π(θ)L(θ|x)α
对于一些α>0(例如,这可能具有计算优势)。

在这种情况下,是否有可能有一个正确的先验但不正确的伪后验?

2个回答

为了α1,也许这是一个论证,表明不可能构造这样的后验?

我们想知道是否有可能π~(θ|x)dθ=.

在 RHS 上:

π(θ)Lα(θ|x)dθ=Eθ(Lα(θ|x))

如果α1,xα是一个凹函数,所以由 Jensen 不等式:

Eθ(Lα(θ|x))Eθα(L(θ|x))=m(x)α<

... 在哪里m(x)正如西安所指出的,是归一化常数(证据)。

可以使用@InfProbSciX 的答案中的结果来证明一般的结果。改写L(θx)απ(θ)作为

L(θx)α1L(θx)π(θ).
如果1α2,我们有上面的 Jensen 不等式情况,因为我们知道L(x|θ)π(θ)是可归一化的。同样,如果2α3,我们可以写
L(x|θ)αpL(x|θ)pπ(θ),
1p2,再次陷入同样的​​情况,因为我们知道L(x|θ)pπ(θ)是可归一化的。现在可以使用(强)归纳法来展示一般情况。

旧评论

不确定这是否超级有用,但由于我无法发表评论,我将把它留在答案中。除了@InfProbSciX 关于α1, 如果进一步假设L(θx)Lp, 那么对于1<αp. 例如,如果我们知道第二个 (p-th) 时刻L(θx)存在,我们知道它在L2(Lp),因此伪后验将适用于0α2. 这些笔记中的第 1 节更详细地介绍了一些细节,但不幸的是,尚不清楚该类的范围有多广,例如,L10pdfs 是。如果我在这里说话不顺,我很抱歉,我真的很想留下这个作为评论。