贝叶斯分析仅用作计算工具?

机器算法验证 贝叶斯 常客 哲学的
2022-03-23 12:39:53

我有时看到一些统计学家使用贝叶斯分析和相关技术(如 MCMC)在频率论方法不令人满意时仅作为一种工具,例如当最大似然估计量难以找到或计算时间过长时。

在这些情况下,他们只关注模型的定义和估计(例如通过 MCMC),而几乎不关注选择先验分布(据我所见)。我猜他们默认使用平坦分布,但从未讨论过先验的特定选择,这可能是因为模型可能具有大量参数,并且难以为每个参数分配有意义的先验分布。

当后者表现不佳时,切换到贝叶斯分析并仅将其用作频率论方法的计算对应物是否很常见?
我的感觉是贝叶斯和常客是非常不同的统计框架(至少这是我的老师教给我的!)并且使用一个或另一个不应该仅仅通过计算目的来证明,而且至少应该仔细选择先验分布制作。

我知道这不是一个真正的统计问题,但我只想知道纯贝叶斯对这种贝叶斯分析的使用有何看法。如果它不适合本网站,请提前道歉。

4个回答

被称为“常客”统计的方法集相当广泛。它允许您指定所需的任何建议的估计器,然后根据参数的真实值调查其长期属性。此方法仅在“不可接受”的情况下将估计量完全计入,这意味着它由另一个可用的估计量支配(即,它对参数的每个可能值赋予相等/更高的风险,并且对至少某些参数值赋予更高的风险) .

现在,有一个著名的定理说,在广泛的条件下,贝叶斯估计量是可接受的——即它们不受其他估计量的支配。贝叶斯估计器往往是有偏差的(因为它们包含了先验信息),但它们在相当广泛的条件下也是一致的。这意味着它们是在频率论标准方面往往表现良好的估计器。因此,常客通常将这些估计器视为可用于分析的一种选择。

根据定义,“纯贝叶斯”在所有情况下都将采用贝叶斯方法。大多数纯粹的贝叶斯主义者将通过相信其潜在的哲学和数学优势而采用这种方法。然而,采用贝叶斯方法的部分动机可能是因为即使在常客范式下,这些方法也往往根据常客标准表现良好。至于纯贝叶斯主义者会如何看待使用贝叶斯估计量的常客,我想这有点像牧师会如何看待决定有一天为精神指导祈祷的无神论者(例如,基于它不能即使在他们自己的哲学下也做任何伤害)。他们可能会认为这是一种可取的行为改变,动机不当,

在 Arnaud Doucet 和 Simon Godsill 于 2002 年发表的一篇论文中,使用马尔可夫链蒙特卡罗进行边际最大后验估计,我们使用 MCMC 方法在观察到的可能性不可用的潜在变量模型中推导出最大似然估计量。通过以模拟退火精神重复所述潜在变量的重复次数。随后由

评论:以下是常客统计学家可能使用贝叶斯方法的几个原因。

正如@Fiodor1234 所说,计算便利性可能并不高。一个这样的例子可能是使用 Jeffreys 后验概率区间作为二项式比例的置信区间。例如,如果您次成功,则由于样本量小,渐近 Wald 区间不是最佳选择。Agresti-Coull 区间很容易计算,并且接近计算起来有些复杂的更准确的区间。Jeffreys 区间基于非信息性贝叶斯先验,在 R 中很容易计算并且具有良好的频率特性。x=42n=100Beta(.5,.5)

p.hat = 42/100
CI.Wald = p.hat + qnorm(c(.025,.975))*sqrt(p.hat*(1-p.hat)/100)
round(CI.Wald,4)
[1] 0.3233 0.5167

p.est = (42+2)/(100+4)
CI.Agr = p.est + qnorm(c(.025,.975))*sqrt(p.est*(1-p.est)/104)
round(CI.Agr,4)
[1] 0.3281 0.5180

CI.Jeff = qbeta(c(.025,.975), 42+.5, 100-42+.5)
round(CI.Jeff,4)
[1] 0.3267 0.5179

适当支持分发。为了从筛查测试数据中找出疾病的患病率,传统方法可以给出超出通过使用具有 beta 先验分布的 Gibbs 采样器,可以获得有用的患病率区间估计值。(由于 beta 先验有单位区间作为支持,那么后验分布也会。)参见示例。.(0,1).

“模拟”潜在数据。有时,人们想要测试或给出潜在数据的参数估计,这些数据可以使用 Gibbs 采样器可靠地重建。一个简单的例子是在单向随机效应方差分析中了解组的可变性。组中的观察值是可用的,但由于各个组(与总体方差分开)引起的方差分量通常是潜在的。

使用贝叶斯方法的其他原因包括

  • 当对数似然非常非高斯时得到更准确的推断。例如,在二元逻辑回归中,标准 p 值和置信区间可能不准确,而贝叶斯量是准确的。
  • 获得复杂导出参数的准确不确定区间。在常客世界中,我们经常不得不求助于 delta 方法来获得近似的置信区间。这不仅是劳动密集型的,而且结果通常非常不令人满意,因为这些间隔在它们本应不对称时被迫对称,以便对两个尾部进行准确的覆盖。一个例子是状态转换模型中的状态占用概率,它涉及到递归矩阵乘法,这在常客领域是一团糟。使用 MCMC(假设您有 4000 个来自所有参数的多元分布的后验图),您只需计算复杂的派生参数 4000 次,并从这 4000 个数字中估计最高后验密度区间。