为了创建多个变量的联合后验分布,相关的贝叶斯先验是否通常假设彼此独立?

机器算法验证 贝叶斯 独立 事先的
2022-03-31 15:59:23

假设我们有数据,D,以及我们想要了解的两个参数,θ1,θ2. 我们通常会把先验放在θ1,θ2,然后有表达式:

p(θ1,θ2D)p(Dθ1,θ2)p(θ1)p(θ2)

我想知道为什么大多数设置都假设上述先验是独立的。如果我们没有它会发生什么?

2个回答

只有当您假设独立的先验时,您的表达才是正确的。否则,表达式将变为

p(θ1,θ2|D)p(D|θ1,θ2)p(θ1,θ2)

在这个表达式中,您可能需要进一步的假设才能使用p(θ1,θ2)或者您可以按原样使用它。如果你假设独立,你就会再次得到你的表达。从我所见,将这个表达式分解为

p(θ1,θ2)=p(θ1|θ2)p(θ2)

这不需要进一步的独立性假设,并且可能很容易指定条件分布p(θ1|θ2). 话虽如此,在许多情况下,拥有独立的先验是完全合理的θ1θ2所以这实际上取决于您要解决的个人问题。

正如 Maurits M 在另一个答案中提到的那样,独立是否有意义确实是特定于问题的。OP问题问:

“我想知道为什么大多数设置都假设上述先验是独立的。如果我们没有它会发生什么?”

这真的是2个问题。

(1) 为什么大多数设置都假设先验是独立的?

我的猜测(没有读心术)是可以写成封闭形式的多元分布很少而且相差甚远。这也是MCMC技术如此流行的原因。编写边际先验的乘积要容易得多,并且可能会使采样器更容易写下来。

(2) 如果我们没有它会怎样?这个问题可以解释为不正确地指定独立性的影响,或者如果您知道独立性不是一个合理的假设,如何进行。两个我都会回答。

如果您错误地假设了独立性,那么影响的程度将取决于这种违规行为在真正的基础模型中的严重程度。例如,朴素贝叶斯假设独立性,并且即使独立性在经验上不正确,通常也能很好地工作。原因是数据生成机制中经常存在对称性,从而“抵消”了独立性违规。然而,这种说法更多的是一种经验证明,我不知道有任何群体理论证明了这种说法。