有界空间与无界空间的统一后验

机器算法验证 贝叶斯 后部
2022-04-04 18:24:06

根据这个答案

有界空间上的平坦后部没有问题,就像这里一样。你只需要从一个比平坦的更分散的先验开始。你不能有一个无界空间上的平坦后验,因为这不是一个正确的分布。

我想知道是否有人可以详细说明(如果和)为什么在无界空间上平坦的后部是不可接受的,以及它与有界空间有何不同。后者的一个例子是狄利克雷分布其中Dirichlet(α1,,αn)α1=α2==αn=1

2个回答

在无界空间上不可能有平坦(均匀)的概率分布,因此特别是不可能有平坦的后验分布。

如果你在整条实线上有一个统一的概率密度,你需要一个函数积分为 1(作为概率密度)但保持不变。这是不可能的:任何常数函数都积分为 0 或无穷大。f(x)

类似地,如果你在无限的整数集合上有一个均匀分布,你需要概率质量函数 对所有都相等并加到 1。它不能;它不能;如果都相等,则它必须加到零或无穷大。p(n)np(n)n

类似的问题出现在更复杂的空间中,在这些空间中谈论分布是“平坦的”是有意义的。

在有界有限维空间上,可能有一个积分为 1 的常数函数,因此概率分布可以是平坦的。例如,狄利克雷分布定义在面积为 所以任何常数函数都有有限积分,而函数 积分为 1。新西兰乐透的概率分布在值从 1 到 40 的六数序列集合上,因此只有有限多个其中,您可以对每一个赋予相等的概率(n

B(α)=i=1KΓ(αi)Γ(i=1Kαi)
f(α)=1/B(α)
p(x)=1/3838380) 并使其加起来为 1。

因此,鉴于此,真正的问题是平坦的先验分布如何有意义。事实证明,您通常可以将一个常数函数放入贝叶斯规则中来代替先验密度,并得到一个真实的分布作为后验。因此,即使没有这样的东西,也可以将那个后验视为属于“平坦先验”。此外,当有一个“平坦先验”时,您获得的后验通常与您为越来越分散的真正先验获得的后验限制相同[我不知道这是否总是真实或只是经常真实]。因此,例如,如果您有数据和先验,XmN(μ,1)μN(0,ω2)

nX¯nn+ω2
1/(n+ω2)如果您让增加,则先验会越来越分散,而后验会越来越接近,这也是您使用“平坦先验”得到的结果。ωN(X¯,1/n)

但是,有时,使用“平坦先验”并不能给出真实的后验概率分布,在这种情况下,它真的没有意义。

严格来说,这个问题是不精确的,因为它没有具体说明参考措施。如果参考测度是其中是勒贝格测度,则具有平坦密度的后验是有效的.dμ(x)=ex2dλ(x)λ

然而,假设使用“平坦先验”意味着相对于 Lebesgue 度量具有恒定的密度,Thomas Lumley 的回答清楚地解释了为什么贝叶斯推理不可能使用这种“后验”。这不是概率密度,因此简单地没有定义后验。由于整个空间的后验质量无穷大,因此无法计算后验期望甚至后验概率。任何具有无限体积的参数空间都不能在这样的后验下推断出来。更一般地说,贝叶斯推理不能接受任何后积分到无穷大,原因与这不能转化为概率密度相同。

作为边际,正如前面 X 验证条目中所讨论的,最大熵先验 定义为主导措施在连续空间中没有绝对或唯一的熵度量。

argpmaxp(x)logp(x)dλ(x)
dλ