什么时候常客抽样分布不能被解释为回归设置中的贝叶斯后验?

机器算法验证 贝叶斯 最大似然 后部 常客
2022-02-27 09:41:23

我的实际问题在最后两段中,但为了激励他们:

如果我试图估计遵循具有已知方差的正态分布的随机变量的平均值,我已经读过在平均值上放置一个统一的先验会导致与似然函数成比例的后验分布。在这些情况下,贝叶斯可信区间与常客置信区间完全重叠,并且贝叶斯最大后验估计等于常客最大似然估计。

在简单的线性回归设置中,

Y=Xβ+ϵ,ϵN(0,σ2)

上放置一个统一先验,上放置一个逆伽马先验,参数值较小,导致后验非常相似,以及的后验分布的可信区间,该区间与最大似然估计周围的置信区间非常相似。它们不会完全相同,因为上的先验施加了少量影响,并且如果通过 MCMC 模拟进行后验估计,这将引入另一个差异来源,但βσ2β^MAPβ^MLEβ|Xσ2β^MAP周围的常客置信区间将非常接近,当然随着样本量的增加,它们应该收敛,因为可能性的影响增长到主导先验的影响。β^MLE

但我读到,也有回归情况,这些近似等价不成立。例如,具有随机效应的层次回归或逻辑回归——据我所知,这些情况是没有“好的”目标或参考先验的。

所以我的一般问题是——假设我想推断P(β|X)并且我没有想要合并的先验信息,为什么我不能在这些情况下继续进行频率最大似然估计并将得到的系数估计和标准误差解释为贝叶斯 MAP 估计和标准差,并隐含地对待这些“后验”估计是从一个必须是“无信息”的先验得出的,而不是试图找到会导致这种后验的先验的明确表述?一般来说,在回归分析的领域内,什么时候可以沿着这些路线进行(将可能性视为后验),什么时候不可以?不基于可能性的频率论方法呢,例如准似然方法,

答案是否取决于我的推理目标是系数点估计,还是系数在特定范围内的概率,还是预测分布的数量?

1个回答

这基本上是关于和最大似然的问题。让我在这里引用 Cohen (1994)p

我们想知道的是“给定这个数据, 为真的概率是多少?” 但正如我们大多数人所知,它 [值] 告诉我们的是“鉴于为真,这个(或更极端的)数据的概率是多少?” 这些不一样(...)H0pH0

所以值告诉我们什么是,而我们对感兴趣(另见关于Fisherian vs Neyman-Pearson框架的讨论)。pP(D|H0)P(H0|D)

让我们暂时忘记值。给定参数观察我们数据的概率是似然函数pθ

L(θ|D)=P(D|θ)

这是查看统计推断的一种方式。另一种方法是贝叶斯方法,我们希望通过使用贝叶斯定理和使用 \theta 的先验来P(θ|D)θ

P(θ|D)posteriorP(D|θ)likelihood×P(θ)prior

现在,如果您查看整体情况,您会发现值和可能性回答的问题与贝叶斯估计不同。p

因此,虽然最大似然估计应该与统一先验下的 MAP 贝叶斯估计相同,但您必须记住它们回答的是不同的问题。


科恩,J. (1994)。地球是圆的 (p<.05)。 美国心理学家, 49,997-1003。