后验分布是统计量吗?磷( θ | X )P(θ|X)

机器算法验证 贝叶斯 术语 定义
2022-03-24 02:23:54

统计的教科书定义是数据的任何函数许多频率论推理都与在某个空模型下为各种统计数据推导抽样分布有关,因此“统计数据”一词具有精确的定义并且经常使用是有道理的。g(X)

另一方面,贝叶斯推理的目标是根据观测数据推导出某个参数我看到的关于贝叶斯推理的讨论往往没有给出“统计”一词的定义。P(θ|X)θX

我有两个问题:

  1. 贝叶斯主义者是否像常客一样使用“统计”一词,或者贝叶斯推理不那么严重地依赖于统计的概念?
  2. 说后验分布本身就是一个统计量是否准确?即使它在技术上是正确的,它是否“道德上”正确?P(θ|X)
3个回答

不,如果您严格定义后验分布并同意统计量和估计量之间存在区别,则后验分布不是统计量。首先,它是一个后验分布的估计量(参见What is the difference between an estimator and a statistic?)。其次,正如@whuber在评论中已经注意到的那样,统计数据是数据的函数,而后验分布是数据先验的函数,因此它不仅取决于数据。

后验分布是对假设模型参数分布的估计;统计量将是表征它的样本的函数。问题不在于它是一个分布这一事实(例如,有人可能会争辩说核密度估计器以及直方图都是统计数据),而在于您对模型而不是样本的兴趣。

另一方面,统计的定义非常广泛,许多手册只给出了简短的定义(“样本的功能”“样本的数值特征” ),或者像点估计理论中的Leehman 和 Casella所说的那样,“估计器是统计数据”(第 16 页)。因此,当坚持统计是样本的任何函数的定义时,答案将是“是”。

  1. 贝叶斯主义者是否像常客一样使用“统计”一词,或者贝叶斯推理不那么严重地依赖于统计的概念?

一般来说,贝叶斯主义者使用所有统计术语的方式与其他统计学家相同。它们仅在解释概率的方式上有所不同,同时坚持相同的定义(Kolomogorov 公理等)。如果他们不这样做,他们将无法与统计界的其他成员交流,也不会被视为统计的一部分。

是的,后验是一个统计数据。正如您所指出的,统计数据是数据的任何函数,而后验是数据的函数,因此是统计数据。是的,贝叶斯主义者使用统计的概念,但通常不将后验描述为统计。我们当然对充分统计感兴趣,因为后验,即给定数据的参数分布等价于给定充分统计的参数的条件分布。

是的,它在技术上是正确的,而且是道德的。您甚至可以查看后验的采样分布,以了解后验在不同数据实现中的属性。埃夫隆在这份手稿中这样做了。

我不同意后验不是统计量的观点,因为它是一个估计量(例如,在这个问题的公认答案中,以及对相关问题的随附答案中关于统计量和估计量之间所谓的差异)。但是由于其他原因,下面详细说明,我会说可以用这个量形成一个“统计”,但统计的东西并不是真正的“后验分布”。

要理解这一点,重要的是要记住,可以以多种不同的方式查看多元函数,具体取决于我们将哪些变量视为参数以及将哪些变量视为固定值。特别是,多元函数可以是关于一个自变量变量的分布,但不是关于另一个自变量变量的分布。在本例中,函数可以用三种不同的方式查看P(θ|x)

  • 作为的函数,在这种情况下,它是一个条件分布;θx

  • 仅作为的函数(将视为固定),在这种情况下,它是一个单一分布;或者θx

  • 仅作为的函数(将视为固定),在这种情况下,它是一个统计量,而不是一个分布。xθ

从这三个视图中,我们看到可以将这个对象视为“统计量”(保持一个参数不变)“后验分布”(保持另一个参数不变),但严格来看并不正确同时作为这两件事。因此,声称“后验分布”(即分布)也是“统计量”是非常可疑的。下面给出了更详细的答案,我将这个问题作为域和共域的映射来探讨,包括分布函数。


什么是“统计”:统计标准定义是指数据向量的函数——即,其域是数据向量的支持的函数。统计量可以作为某些模型参数的估计量这一事实并不妨碍它成为统计量。虽然有争议的是,估计量不仅仅是统计量(例如,统计量加上它用于估计的指定参数),但这并不意味着统计量不是统计量,仅仅是因为它可以用作某物。

现在,“统计”的一些定义(在各种教科书中)将该概念限制为仅输出实数实数向量(与分布或函数相反)的映射,但这通常是一个上下文定义,用于处理在其他情况下使用标准实标量或向量统计(例如,在讨论统计推断理论时)。在我看来,如果函数将数据向量映射到其他输出(例如分布),原则上没有理由不能将其视为“统计量”。因此,如果是我们在某个推理问题中的可观察数据向量的支持,我会考虑任何映射Xf:XCodomain成为指定 codomain 上的“统计数据”。有了这个“统计”的广泛定义,现在让我们考虑一下这个问题。


后验分布是“统计”吗? 确实,后验是由数据向量和先验分布共同决定的。令 \ mathscr为数据向量的支持,令为参数的允许分布空间,我们可以认为贝叶斯规则是一个映射映射一个数据向量并且在后验分布之前(后者被认为是的函数)。所以这里我们有一个映射,其中域不仅仅是数据向量的支持。XΠθP:X×ΠΠθ

然而,与任何两个参数的函数一样,我们也可以将其中一个(先验)视为固定值,并将映射视为仅另一个参数(数据向量)的函数。也就是说,对于任何固定的先验分布,我们可以考虑对应的映射将数据向量映射到后验分布(由我们的固定事先的)。所以现在我们有一个映射,其中域是数据向量的支持,因此,我们有一个“统计”(在上面定义的广义上)。πΠPπ:XΠ

虽然在上面指定的意义上是一个“统计量”,但将其称为“后验分布”有点牵强。实际上,如果您将后验分布视为仅针对固定先验将其称为“分布”并不准确,因为它不是关于参数变量的分布。Pπxx

我认为映射是一个“统计”,因为它是一个函数,其域是数据向量的支持。将此函数称为“后验分布”并不准确;相反,它是将任何允许的数据向量映射到相应的后验分布的映射。“后验分布”是 codomain 中的元素,而不是映射本身。PπPπ(x)


后验也隐含地依赖于未说明的先验分布,因此我们还可以通过查看多元函数,在这种情况下还有更多的解释。π(θ)P(θ|x,π)