贝叶斯因子实际上是如何贝叶斯的?

机器算法验证 贝叶斯 线性模型 贝叶斯因子
2022-03-23 16:54:26

我最近一直在做一些涉及贝叶斯因子的线性模型分析,我有两个可能非常基本的问题:

1)据我所知,贝叶斯因子只是一个似然比,即

p(data|M1)/p(data|M2).

但这并不是真正的贝叶斯推理,不是吗?由于贝叶斯推理的重点是转换p(data|model)p(model|data)?

当然,人们认为给定两个模型的先验概率相等,上述方程等价于p(M1|data)/p(M2|data),但在我看来,贝叶斯因子方法仍然缺少贝叶斯推理的全部要点。尤其是因为贝叶斯建模的真正酷之处在于我可以为每个模型系数提供先验分布和后验分布,我觉得贝叶斯因子模型比较没有贝叶斯模型的威力?

2)首先,基于(未惩罚的)可能性的贝叶斯因子怎么可能有利于空模型?更复杂的模型(即非空模型)不应该总是增加可能性吗?

希望你们中的一些人能对我的想法有所启发。

2个回答

虽然我已经写了相当多的关于贝叶斯因子的局限性作为进行模型比较的手段,但第一点是确实不是贝叶斯对测试问题回答或模型中的哪一个是真正的模型?M1M2当使用 Neyman-Pearson 损失函数进行评估时。正确的贝叶斯答案是具有最大后验概率的模型。当使用其他损失函数时,正确的贝叶斯答案是后验概率本身。从历史上看,贝叶斯因子一直被杰弗里斯(大约 1939 年)辩护由于它提供了比后验概率更客观的答案,因为它消除了模型的先验权重的影响,这可以被视为没有利用贝叶斯形式,但真正反映了设置此类的巨大不确定性权重。M1M2

关于第二点,有据可查的是,贝叶斯因子通过在更大的空间上进行积分来为复杂性提供自然的惩罚,而不是利用两种模型下的最佳拟合的似然比。由于这个原因,贝叶斯因子通常被视为准自动奥卡姆剃刀,这也是贝叶斯信息准则(BIC) 也被非贝叶斯主义者使用。

BIC=log(n)k2log(L(θ^))

问题是,虽然贝叶斯因子(假设竞争假设的先验概率相等)是似然比,但它不是您认为的似然比。这里,的可能性是M1

p(data|M1)=p(data|M1,θ1)p(θ1|M1)dθ1.

您错过的直接回答第 1) 部分和第 2) 部分的技巧是,当我们说给定模型 1 的数据的可能性包含参数的先验信息时,我们在这种情况下的意思是,我们唯一(潜在的)先验信息(通常)抛出的是,我们只是假设(通常)假设是先验的等可能。

换句话说,您将p(data|M1)p(data|M1,θ1)