我的实际问题在最后两段中,但为了激励他们:
如果我试图估计遵循具有已知方差的正态分布的随机变量的平均值,我已经读过在平均值上放置一个统一的先验会导致与似然函数成比例的后验分布。在这些情况下,贝叶斯可信区间与常客置信区间完全重叠,并且贝叶斯最大后验估计等于常客最大似然估计。
在简单的线性回归设置中,
上放置一个统一先验,上放置一个逆伽马先验,参数值较小,导致后验非常相似,以及的后验分布的可信区间,该区间与最大似然估计周围的置信区间非常相似。它们不会完全相同,因为上的先验施加了少量影响,并且如果通过 MCMC 模拟进行后验估计,这将引入另一个差异来源,但周围的常客置信区间将非常接近,当然随着样本量的增加,它们应该收敛,因为可能性的影响增长到主导先验的影响。
但我读到,也有回归情况,这些近似等价不成立。例如,具有随机效应的层次回归或逻辑回归——据我所知,这些情况是没有“好的”目标或参考先验的。
所以我的一般问题是——假设我想推断并且我没有想要合并的先验信息,为什么我不能在这些情况下继续进行频率最大似然估计并将得到的系数估计和标准误差解释为贝叶斯 MAP 估计和标准差,并隐含地对待这些“后验”估计是从一个必须是“无信息”的先验得出的,而不是试图找到会导致这种后验的先验的明确表述?一般来说,在回归分析的领域内,什么时候可以沿着这些路线进行(将可能性视为后验),什么时候不可以?不基于可能性的频率论方法呢,例如准似然方法,
答案是否取决于我的推理目标是系数点估计,还是系数在特定范围内的概率,还是预测分布的数量?