谁是贝叶斯主义者?

机器算法验证 贝叶斯 数理统计 推理 贝叶斯 常客
2022-01-23 22:05:13

当人们对统计产生兴趣时, “频率论者”与“贝叶斯论者”的二分法很快就变得司空见惯(谁还没有读过Nate Silver 的《信号与噪音》呢?)。在讲座和介绍性课程中,观点绝大多数是频率论者(MLE值),但往往有一小部分时间专门用于欣赏贝叶斯公式并触及先验分布的概念,通常是切线。p

讨论贝叶斯统计所采用的语气在尊重其概念基础和对崇高目标之间的鸿沟的怀疑,以及在选择先验分布或最终使用频率论数学方面的任意性之间摇摆不定。

诸如“如果你是一个铁杆贝叶斯主义者……”这样的句子比比皆是。

问题是,今天的贝叶斯主义者是谁?他们是不是一些精选的学术机构,你知道如果你去那里你会成为贝叶斯主义者?如果有,是不是特别追捧?我们指的是少数受人尊敬的统计学家和数学家吗?如果是的话,他们是谁?

它们是否就这样存在,这些纯粹的“贝叶斯”?他们会乐意接受这个标签吗?它总是一个讨人喜欢的区别吗?他们是数学家在会议中使用特殊幻灯片,没有任何值和置信区间,很容易在小册子上被发现吗?p

有多少利基是“贝叶斯”?我们指的是少数统计学家吗?

还是当前的贝叶斯主义等同于机器学习应用?

...或者更有可能的是,贝叶斯统计与其说是统计学的一个分支,不如说是一种超越概率计算范围成为科学哲学的认识论运动?在这方面,所有科学家的内心都是贝叶斯主义者……但不会有一个纯贝叶斯统计学家不受频率论技术(或矛盾)影响。

4个回答

我将按顺序回答您的问题:

问题是,今天的贝叶斯主义者是谁?

任何进行贝叶斯数据分析并自我识别为“贝叶斯”的人。就像程序员是一个编程并自我认定为“程序员”的人一样。一个细微的区别是,由于历史原因,贝叶斯具有意识形态内涵,因为“频率主义”概率解释的支持者和“贝叶斯”概率解释的支持者之间经常发生激烈的争论。

他们是不是一些精选的学术机构,你知道如果你去那里你会成为贝叶斯主义者?

不,就像统计的其他部分一样,您只需要一本好书(也许还有一位好老师)。

如果有,是不是特别追捧?

贝叶斯数据分析在进行统计建模时是一个非常有用的工具,我认为这是一项非常受欢迎的技能(即使公司可能并不是专门寻找“贝叶斯”)。

我们指的是少数受人尊敬的统计学家和数学家吗?如果是的话,他们是谁?

我相信有许多受人尊敬的统计学家会称自己为贝叶斯主义者,但那些不是贝叶斯主义者。

它们是否就这样存在,这些纯粹的“贝叶斯”?

这有点像问“这些纯粹的程序员存在吗”?有一篇有趣的文章叫做46656 Varieties of Bayesians,而且“贝叶斯主义者”之间肯定有关于许多基础问题的健康争论。就像程序员可以争论不同编程技术的优点一样。(顺便说一句,Haskell 中的纯程序员程序)。

他们会乐意接受这个标签吗?

有些会,有些不会。当我发现贝叶斯数据分析时,我认为这是自切片面包以来最好的(我仍然这样做),我很高兴称自己为“贝叶斯”(尤其是要激怒我部门的 p 值人员)。现在我不喜欢这个词,我认为它可能会疏远人们,因为它使贝叶斯数据分析听起来像是某种邪教,但事实并非如此,而不是统计工具箱中的有用方法。

它总是一个讨人喜欢的区别吗?

没有!据我所知,“贝叶斯”这个词是著名统计学家费雪引入的一个贬义词。在此之前,它被称为“逆概率”或简称为“概率”。

他们是数学家在会议中使用特殊幻灯片,没有任何 p 值和置信区间,很容易在小册子上被发现吗?

嗯,有一些关于贝叶斯统计的会议,我不认为它们包含那么多 p 值。您是否会发现这些幻灯片很奇特取决于您的背景...

有多少利基是“贝叶斯”?我们指的是少数统计学家吗?

我仍然认为少数统计学家处理贝叶斯统计,但我也认为这一比例正在增长。

还是当前的贝叶斯主义等同于机器学习应用?

不,但是贝叶斯模型在机器学习中被大量使用。这是一本很棒的机器学习书籍,从贝叶斯/概率论的角度介绍机器学习:http ://www.cs.ubc.ca/~murphyk/MLbook/

希望回答了大部分问题:)

更新:

[C]您能否考虑添加区分贝叶斯统计的特定技术或前提的列表?

贝叶斯统计的区别在于贝叶斯模型的使用:)这是我对贝叶斯模型解释:

贝叶斯模型是一种统计模型,您可以在其中使用概率来表示模型中的所有不确定性,包括关于输出的不确定性以及关于模型输入(也称为参数)的不确定性。整个先验/后验/贝叶斯定理都遵循这一点,但在我看来,对所有事物使用概率是使其成为贝叶斯的原因(实际上,一个更好的词可能就是概率模型之类的东西)。

现在,贝叶斯模型可能很难拟合,并且有许多不同的计算技术可用于此。但是这些技术本身并不是贝叶斯的。要命名一些计算技术:

  • 马尔可夫链蒙特卡洛
    • 大都会-黑斯廷斯
    • 吉布斯抽样
    • 哈密​​顿蒙特卡罗
  • 变分贝叶斯
  • 近似贝叶斯计算
  • 粒子过滤器
  • 拉普拉斯近似
  • 等等...

将“贝叶斯”一词贬义的著名统计学家是谁?

据说是罗纳德·费舍尔。论文贝叶斯推理什么时候变成了“贝叶斯”?给出了术语“贝叶斯”的历史。

贝叶斯主义者将概率定义为某个命题的合理性的数字表示。频率论者是将概率定义为代表长期频率的人。如果您只对这些定义中的一个或其他感到满意,那么您要么是贝叶斯主义者,要么是常客。如果您对其中任何一个都满意,并且对手头的任务使用最合适的定义,那么您就是统计学家!;o) 基本上,它归结为概率的定义,我希望大多数工作的统计学家能够看到这两种方法的优缺点。

对崇高目标之间的鸿沟以及在选择先验分布的任意性或最终使用频率论数学方面的怀疑暗示。

怀疑主义也朝着另一个方向发展。频率论是为了消除现有概率和统计思想的主观性而被发明的。但是,主观性仍然存在(例如在确定假设检验中的适当显着性水平时),只是没有明确说明,或者经常被忽略

例如,哥伦比亚大学统计学和政治学教授安德鲁·格尔曼是著名的贝叶斯学派。

我怀疑大多数 ISBA 研究员可能也会认为自己是贝叶斯主义者。

通常,以下研究主题通常反映贝叶斯方法。如果您阅读有关它们的论文,作者很可能会将自己描述为“贝叶斯”

  • 马尔可夫链蒙特卡罗
  • 变分贝叶斯方法(名称给出了一个)
  • 粒子过滤
  • 概率规划

今天,我们都是贝叶斯主义者,但在这两个阵营之外还有一个世界:算法概率。我不确定这个主题的标准参考是什么,但有一篇 Kolmogorov 关于算法复杂性的漂亮论文:AN Kolmogorov,“信息量”概念定义的三种方法,Probl。Peredachi Inf.,1965 年,第 1 卷,第 1 期,3-11。我确定有英文翻译。

在本文中,他以三种方式定义信息量:组合、概率和(新)算法。Combinatorial 直接映射到frequentist,Probabilist 不直接对应Bayesian,但兼容。

更新:如果您对概率哲学感兴趣,那么我想指出一个非常有趣的作品“科尔莫哥罗夫的 Grundbegriffe 的起源和遗产”格伦·沙弗和弗拉基米尔·沃夫克着例如,一位常客。现实是他在 1930 年住在苏联,在那里冒险进入哲学是非常危险的,从字面上看,你可能会遇到存在主义的麻烦,一些科学家就是这样做的(最终被关进古拉格监狱)。所以, 他有点被迫含蓄地表明他是常客。我认为实际上他不仅是数学家,而且还是科学家,并且对概率论在现实中的适用性有复杂的看法。

Vovk 还有另一篇关于 Kolmogorov 随机性算法方法的论文:Kolmogorov's对该概率基础的贡献

Vovk 为概率创建了一种博弈论方法——也非常有趣。

更新 2:这是一位贝叶斯主义者,实际上是华盛顿特区一所大学的教授。他试图提出一个观点,即我们应该选举那些根据经验和新观察更新信仰的政治家。这里是新经验之后的后验信念是先验的。他试图向 Colbert/Stuart “Rally for Fear” 参与者解释这一点。P(B|E)BEP(E|B)

在此处输入图像描述

更新 3:

我还想指出 Kolmogorov 原创作品中的一些内容,由于某种原因,从业者并不为人所知(或容易忘记)。他有一个关于将理论与现实联系起来的部分。特别是,他为使用该理论设定了两个条件:

  • A. 如果你多次重复这个实验,那么发生的频率与概率只有很小的差异,实际上是肯定的
  • B. 如果概率很小,那么如果你只进行一次实验,那么你实际上可以确定事件不会发生

对这些条件有不同的解释,但大多数人会同意这些不是纯粹的常客的观点。Kolmogorov 宣称他在一定程度上遵循了 von Mises 的方法,但他似乎表明事情并不像看起来那么简单。经常想到条件B,也不能得出一个稳定的结论,每次想起来好像都略有不同。