为什么是一个p (σ2) ∼ IG(0.001, 0.001)p(σ2)∼IG(0.001, 0.001)先验方差被认为是弱的?

机器算法验证 贝叶斯 多层次分析 事先的
2022-02-15 18:28:33

背景

最常用的弱先验方差之一是带参数的反伽马α=0.001,β=0.001 (格尔曼 2006 年)

但是,此分布的 90%CI 约为[3×1019,].

library(pscl)
sapply(c(0.05, 0.95), function(x) qigamma(x, 0.001, 0.001))

[1] 3.362941e+19          Inf

由此,我解释为IG(0.001,0.001)给出方差很大的概率很低,方差小于 1 的概率很低P(σ<1|α=0.001,β=0.001)=0.006.

pigamma(1, 0.001, 0.001)
[1] 0.006312353

问题

我错过了什么还是这实际上是一个信息丰富的先验?

更新澄清,我考虑这个“信息性”的原因是因为它非常强烈地声称方差是巨大的,并且远远超出了几乎任何测量过的方差的规模。

后续对大量方差估计的荟萃分析会提供更合理的先验吗?


参考

Gelman 2006。层次模型中方差参数的先验分布贝叶斯分析 1(3):515–533

2个回答

使用逆伽马分布,我们得到:

p(σ2|α,β)(σ2)α1exp(βσ2)

你可以很容易地看到,如果β0α0那么逆伽玛将先于杰弗里斯。这种分布被称为“无信息”,因为它是 Jeffreys 先验的适当近似

p(σ2)1σ2

例如,对于比例参数,请参见第 18 页,这是没有信息的,因为该先验是唯一在比例变化下保持不变的先验(请注意,近似值不是不变的)。这有一个不定积分log(σ2)这表明如果范围是不合适的σ2包括0或者. 但这些案例只是数学上的问题——而不是现实世界中的问题。永远不要真正观察到无限的方差值,如果观察到的方差为零,那么你就有了完美的数据!因为你可以设置一个下限等于L>0和上限相等U<,并且您的分配是正确的。

虽然这可能看起来很奇怪,因为它更喜欢小方差而不是大方差,这“没有信息”,但这只是在一个尺度上。你可以证明log(σ2)具有不适当的均匀分布。所以这个先验不支持任何一个尺度而不是任何其他尺度

虽然与您的问题没有直接关系,但我建议通过选择上限和下限来“更好”的非信息分布LU在杰弗里斯之前而不是αβ. 通常,只要稍微考虑一下,就可以很容易地设置限制σ2实际上意味着在现实世界中。如果是某种物理量的误差——L不能小于原子的大小,或者您在实验中可以观察到的最小尺寸。更远U不能比地球大(如果你想非常保守,也不能比太阳大)。这样您就可以保持不变性属性,并且在采样之前更容易:q(b)Uniform(log(L),log(U)),然后模拟值为σ(b)2=exp(q(b)).

它非常接近平坦。它的中位数是 1.9 E298,几乎是双精度浮点运算中可以表示的最大数。正如您所指出的,它分配给任何不是很大的间隔的概率非常小。很难获得比这更少的信息!