当经验方差是 Gamma(卡方)时,为什么我们使用逆 Gamma 作为方差的先验

机器算法验证 贝叶斯 伽马分布 共轭先验 逆伽马分布
2022-03-26 10:30:29

比我们知道的

XiN(0,σ2)

i=1NXi2NΓ(N2,2σ2N)

经验方差遵循 Gamma 分布。我们如何协调这一点,反伽马正被用于方差的先验?我知道反伽马恰好是共轭的。但是,使用 gamma 是不是更有意义,因为这就是经验方差的分布方式?

1个回答

不需要和解。在一种情况下,您指的是最大似然估计器的采样分布,它是数据的函数。另一方面,您指的是实际模型参数的后验分布。两个不同的参照物;两种不同的解决方案。

共轭的优点是我们为后验分布得到了很好的封闭形式的解决方案,这种能力取决于似然函数的形式,而不是最大似然估计器的采样分布。

如果我们查看正态似然函数,我们会看到:

L(σ2)σnexp(Xi22σ2)

请注意项是如何全部在比率的各种分母中,而不是在分子中。为了保持共轭,我们需要找到一个看起来相似的分布:σ2

p(σ2)σaexp(bσ2)

这将导致具有相同形式的后验:

p(σ2|X)σ(a+n)exp(b+Xi2σ2)

...并且该分布是逆伽玛。

如果我们使用精度作为我们选择的参数,我们将有:β=1/σ2

L(β)βnexp(Xi22β)

显然,共轭先验将是 Gamma 分布。请注意,在前一种情况下,项和项分别位于比率的分子和分母中;这导致(嗯,你必须做数学)分别得到 Gamma 和逆 Gamma 分布。在后一种情况下,一起在分子中,并且在这两种情况下我们都有 Gamma 分布。Xi2σ2βXi2