谁是常客?

机器算法验证 贝叶斯 常客
2022-02-12 06:11:58

我们已经有一个线程询问谁是贝叶斯主义者和一个询问常客是否是贝叶斯主义者,但是没有线程直接询问谁是常客这是@whuber作为对该线程的评论提出的一个问题,需要回答。他们是否存在(是否有任何自认的常客)?也许他们只是由批评主流统计数据时需要替罪羊的贝叶斯主义者编造出来的?

对已经给出的答案的元评论:相比之下,贝叶斯统计不仅是根据使用贝叶斯定理(非贝叶斯定理也使用它)来定义的,也不是关于使用概率的主观解释(你不会打电话给任何外行说诸如“我打赌机会小于 50:50!”之类的话)——那么我们能否仅根据对概率的采用解释来定义频率论?此外,统计学应用了概率的定义是否应该只关注概率的解释?

4个回答

一些现有的答案谈论统计推断和一些关于概率的解释,但没有一个明确区分。这个答案的主要目的是做出这种区分。


“frequentism”(和“frequentist”)这个词可以指两个不同的东西:

  1. 一是关于“概率”的定义或解释的问题。有多种解释,“频繁的解释”是其中之一。频率论者将是坚持这种解释的人。

  2. 另一个是基于观察数据的模型参数的统计推断。统计推断有贝叶斯和常客方法,常客是更喜欢使用常客方法的人。

现在来一个猜测:我认为几乎没有第一类的常客(P-frequentists),但有很多第二类的常客(S-frequentists)


概率论的频率解释

什么是概率问题是具有 100 多年历史的激烈争论的主题。它属于哲学。我将任何不熟悉这场辩论的人推荐给斯坦福哲学百科全书中的概率解释文章,其中包含关于频率论解释的部分。我碰巧知道的另一个可读性很强的说明是这篇论文:Appleby,2004,Probability is single-case or nothing——它是在量子力学基础的背景下编写的,但包含侧重于概率是什么的部分。

阿普比写道:

Frequentism is the position that a probability statement is equivalent to a frequency statement about some suitably chosen ensemble. 例如,根据 von Mises [21, 22] 的说法,“这枚硬币正面朝上的概率是 0.5”等同于“在无限的抛掷序列中,这枚硬币将以有限的相对频率 0.5 正面朝上”的说法.

这似乎是合理的,但这个定义存在许多哲学问题,以至于人们几乎不知道从哪里开始。明天下雨的概率是多少?毫无意义的问题,因为我们怎么会有无限的试验序列。我口袋里的硬币正面朝上的概率是多少?你说,在无限的抛掷序列中出现正面的相对频率?但是在无限序列完成之前,硬币会磨损,太阳会变成超新星。所以我们应该谈论一个假设的无限序列。这带来了对参考类等的讨论。在哲学中,人们不会那么容易逃脱。顺便说一句,为什么限制存在呢?

此外,如果我的硬币在最初的 10 亿年中有 50% 的时间出现正面,但随后只有 25% 的时间开始出现正面(来自 Appleby 的思想实验),该怎么办?这意味着但在接下来的十亿年中,我们将始终观察到你认为这样的情况真的不可能吗?当然可以,但为什么呢?因为不能突然改变?但是这句话对于一个 P 频率的人来说是没有意义的。P(Heads)=1/4Frequency(Heads)1/2P(Heads)

我想保持这个答案简短,所以我停在这里;有关参考,请参见上文。我认为做一个顽固的P-frequentist真的很难。

(更新:在下面的评论中,@mpiktas 坚持认为这是因为常客定义在数学上毫无意义。我上面表达的观点是常客定义在哲学上是有问题的。)


频率论的统计方法

考虑一个概率模型,它有一些参数并允许计算观察数据的概率。您做了一个实验并观察了一些数据您对有什么看法?P(Xθ)θXXθ

S-频率是不是随机变量的位置;它在现实世界中的真正价值就是它们。我们可以尝试将它们估计为一些,但我们不能有意义地谈论在某个区间内的概率(例如,为正)。我们唯一能做的就是想出一个在我们的估计周围构建一些区间的过程,这样这个过程就可以成功地包含具有特定长期成功频率(特定概率)的θθ^θθ

今天自然科学中使用的大多数统计数据都是基于这种方法,所以今天肯定有很多 S-frequentists。

(更新:如果你寻找一个统计学哲学家的例子,而不是统计学从业者,捍卫 S-frequentist 的观点,然后阅读 Deborah Mayo 的著作;+1 到@NRH 的回答。)


更新:关于 P-frequentism 和 S-frequentism 之间的关系

@fcop 和其他人询问 P 频率和 S 频率之间的关系。这些职位之一是否意味着另一个职位?毫无疑问,历史上S 频率主义是在 P 频率主义立场的基础上发展起来的;但它们在逻辑上是否相互暗示?

在处理这个问题之前,我应该说以下内容。当我在上面写到几乎没有 P-frequentists 时,我并不是说几乎每个人都是 P-subjective-bayesian-a-la-de-finetti 或 P-propensist-a-la-popper。事实上,我相信大多数统计学家(或数据科学家,或机器学习者)都是 P-nothing-at-all,或 P-shut-up-and-calculate(借用Mermin 的名言)。大多数人倾向于忽略基础问题。这很好。我们对自由意志、智力、时间或爱没有很好的定义。但这不应阻止我们研究神经科学、人工智能、物理学或坠入爱河。

就个人而言,我不是 S-frequentist,但我对概率的基础也没有任何连贯的看法。

相比之下,几乎所有进行实际统计分析的人要么是 S-frequentist,要么是 S-Bayesian(或者可能是混合型)。就我个人而言,我发表了包含值的论文,而且我从未(到目前为止)发表过包含模型参数的先验和后验的论文,所以这使我成为了一个 S-frequentist,至少在实践中是这样。p

因此,尽管@fcop 在他的回答中说了什么,但显然有可能成为 S-frequentist 而不是 P-frequentist。

好的。美好的。但仍然:P-贝叶斯可以成为 S-频率论者吗?P-frequentist可以是S-贝叶斯吗?

对于一个确信的 P-贝叶斯主义者来说,成为 S-frequentist 可能是不典型的,但原则上是完全可能的。例如,P-贝叶斯可以确定他们没有任何关于的先验信息,因此采用 S-frequentist 分析。为什么不。每个 S-frequentist 主张当然可以用概率的 P-贝叶斯解释来解释。θ

对于一个确信的 P-frequentist 是 S-bayesian 可能是有问题的。但是,要成为一个确信的 P-frequentist 是非常有问题的……

Kolmogorov 关于概率论基础的工作在第 3 页有一个名为“与实验数据的关系”的部分。这是他在那里写的:

在此处输入图像描述

在此处输入图像描述

他正在展示如何通过观察实验来推断他的公理。这是解释概率的一种非常常见的方式。

他对不可能的事件(空集)有另一个有趣的引用:

在此处输入图像描述

所以,我认为如果你对这些论点感到满意,那么你必须承认你是一个常客。这个标签不是排他的。你可以是双范式的(我编了这个词),即既是常客又是贝叶斯。例如,当将随机方法应用于本质上不是随机的现象时,我变成了贝叶斯。

更新正如我之前在 CV 上写的,Kolmogorov 的理论本身并不是常客。它与贝叶斯观点和常客观点一样兼容。他在该部分添加了这个可爱的脚注,以非常清楚地表明他正在弃权哲学:

在此处输入图像描述

我相信提到写博客错误统计哲学的 Deborah Mayo 是相关的。

我不会声称对她的哲学立场有深刻的理解,但正如 Aris Spanos 的一篇论文中所描述的那样,错误统计的框架确实包含了被认为是经典的频率统计方法。引用论文:

在误差统计方法的范围内,可以包括所有使用基于重复抽样中误差的相对频率的误差概率的标准方法——通常称为抽样理论频率统计

在同一篇论文中,您可以进一步阅读:

因为错误统计学家概率的出现不是为了衡量假设中的确认或信念程度(实际或合理),而是量化方法能够区分替代假设的频率以及它们促进错误检测的可靠性。

参考这个线程及其评论,我认为常客是那些将事件的“概率”定义为该事件发生的长期相对频率的人。因此,如果是实验次数,是事件的概率,用表示,定义为nnAAAP(A)

P(A):=limn+nAn

不难看出,这个定义满足了 Kolmogorov 的公理(因为限制是线性的,另请参阅贝叶斯与频率论辩论是否有任何*数学*基础?)。

为了给出这样的定义,他们必须“相信”这个限制是存在的。所以频率论者是那些相信存在这个限制的人。

编辑于 2016 年 8 月 31 日:关于 S 频率和 P 频率之间的区别

正如@amoeba 在他的回答中区分 S-frequentists 和 P-frequentists 一样,其中 P-frequentists 是我在上文中定义的常客类型,而且他还认为很难成为 P-frequentist我添加了一个 EDIT 部分争辩相反的情况是正确的;

我认为所有 S-frequentists 都是 P-frequentists

在 S-frequentism 部分@amoeba 说“这个过程成功地包含了具有特定长期成功频率(特定概率)的θ

在他的回答中,他还指出 P 频频者是一种稀有物种。

但是这个用来定义 S 频率的“长期成功频率”是他定义为 P 频率的,因为它是的解释。P(CI^θ)

因此,根据他的定义,每个 S-frequentist 也是 P-frequentist。因此,我得出结论,P-frequentists 并不像变形虫所说的那么罕见。

还有更多;@amoeba 还认为 S 频率论者认为未知参数是固定的或非随机的,因此不能谈论“具有特定值的概率”,他说θθ

“我们唯一能做的就是想出一个在我们的估计周围构建一些区间的过程,这样这个过程就可以成功地包含 具有特定长期成功频率(特定概率)的θ

请问''frequentist''这个名字的起源可能是什么:(a)''non-random theta'-idea或(b)''long-run frequency''-idea?θ

我还可以问@mpiktas,他在评论中对变形虫的回答写道:

'' 成为 P 频频者非常困难,因为实际上不可能对这种概率给出数学上合理的定义''

如果你需要一个 P-frequentism 的定义来定义 S-frequentism,那么一个人怎么可能比 P-frequentist 更 S-frequentist 呢?