贝叶斯主义者是否曾经争论过他们的方法在某些情况下与频率论方法泛化/重叠?

机器算法验证 贝叶斯 参考 常客
2022-03-06 00:07:41

贝叶斯主义者是否曾经争辩说他们的方法概括了频率论方法,因为人们可以使用非信息先验,因此可以恢复典型的频率论模型结构?

如果确实使用了这个论点,任何人都可以推荐我到一个我可以阅读这个论点的地方吗?

编辑:这个问题的措辞可能与我的措辞不完全相同。问题是:“是否有任何参考讨论贝叶斯方法和频率论方法通过使用某个先验而重叠/相交/有共同点的情况?” 一个例子是使用不正确的先验p(θ)=1,但我很确定这只是冰山一角。

4个回答

我已经看到了两个论点,即贝叶斯分析是频率分析的概括。两者都有些开玩笑,而且更多的是让人们通过使用先验作为上下文来识别回归模型的假设。

论点 1:频率分析是贝叶斯分析,具有以零为中心的纯粹无信息先验(是的,它的中心在哪里并不重要,但忽略它)。这提供了贝叶斯可能提取频率分析结果的上下文,解释了为什么在最大似然收敛困难的情况下,您可以使用一些“贝叶斯”技术(如 MCMC)来提取频率估计,并得到人们要认识到,当他们说“数据不言自明”之类的话时,他们实际上是在说,事先,所有的价值都是平等的。

论点 2:您包含在模型中的任何回归项实际上都被分配了一个以零为中心且没有方差的先验。这与其说是“贝叶斯分析是一种概括”,不如说是“到处都有先验,即使在你的常客模型中也是如此”。

简短的回答可能是“是的——你甚至不需要一个平坦的先验来支持这个论点。”

例如,最大后验 (MAP) 估计是对包括先验的最大似然的概括,并且存在在分析上等同于找到该值的频率论方法。常客将“先验”重新标记为似然函数的“约束”或“惩罚”,并得到相同的答案。因此,即使哲学不同,常客和贝叶斯主义者都可以指出同一件事作为他们的最佳参数估计。这篇常客论文的第 5 节是它们等价的一个例子。

更长的答案更像是“是的,但分析的其他方面通常会区分这两种方法。不过,在许多情况下,即使这些区别也不一定是铁定的。”

例如,虽然贝叶斯有时会在方便时使用 MAP 估计(后验模式),但他们通常强调后验均值。另一方面,后验均值也有一个常客类比,称为“袋装”估计(来自“引导聚合”),几乎无法区分(有关此论点的示例,请参见此pdf )。所以这也不是一个“硬”的区别。

在实践中,所有这一切意味着即使常客做了贝叶斯认为完全非法的事情(反之亦然),通常(至少在原则上)另一个阵营的方法会给出几乎相同的分析。

主要的例外是,从频率论者的角度来看,某些模型确实很难拟合,但这更像是一个实际问题,而不是哲学问题。

Edwin Jaynes 是最擅长强调贝叶斯推理和常客推理之间联系的人之一。他的论文置信区间与贝叶斯区间(谷歌搜索提出)作为一个非常彻底的比较——我认为这是一个公平的比较。

小区域估计是 ML/REML/EB/HB 答案趋于接近的另一个领域。

这些评论中的许多都假设“频率论者”是指“最大似然估计”。有些人有不同的定义:“频率论者”是指对任何推理方法的长期推理属性的一种分析——无论是贝叶斯方法,矩量法,最大似然法,还是非概率的东西术语(例如 SVM)等。