可以衡量经验数据的高斯程度吗?

机器算法验证 可能性 正态分布 卡方检验
2022-03-23 08:24:59

我想询问一个我可能能够执行的简单测试,以确定我的经验数据有多“高斯”。如果它们是“很好的高斯”,那么我可以执行一些其他分析,假设我的数据一开始就是高斯的。

我正在寻找一个具体的测试。我有一个简单的一维数据向量,N10,000,所以我有很多数据。我想确定这些数据是否为高斯数据。

我试过的:

  1. 我知道高斯 PDF 没有偏度和峰度,所以我已经实施了这些指标并采取了措施。这行得通——我认为——就目前而言,这是我的 B 计划。也许有更好的方法?

  2. 我听说过“卡方”这个词。我知道它本身就是一个 PDF,但我不确定这如何适用于这个问题。

  3. 虽然半开玩笑,但我目前的方法是简单地观察数据。不用说,这在某些情况下是可以的,但是当数据正在运行并且我正在睡觉时它就不起作用了......

编辑:

有人建议我多谈谈我想到的“其他分析”,所以这里是:如果我的数据是高斯的,我可以很容易地应用一个开发的阈值(例如,这里),但它们只适用于是高斯的。现在,如果我的测试返回“不是高斯”,那么我想做的是确定最接近的 PDF 匹配它,以便我可以尝试自己推导阈值。

现在,感谢大家,我知道有无限数量的 PDF,我意识到我的问题可能有点开放式。

因此,为了使图片更加清晰,我可以说我的数据要么是“漂亮的高斯”PDF,要么是“具有对称长尾的高斯 PDF”。所以,如果我的测试回来说“是的,你的数据是高斯的”,我可以使用我之前链接到的罐头阈值测试之一。另一方面,如果我的测试说“不,尾巴对于典型的高斯来说太长了......”,那么我想:1)知道这是什么类型的 PDF,2)我自己估计新的阈值基于此。

我希望这能澄清更多,谢谢大家。

1个回答

有无数种非高斯的方式。

例如,您提到了偏度和峰度——虽然这些度量肯定是识别高斯分布的方法,它们可以组合成一个单一的高斯偏差度量*(甚至构成一些常见测试的基础的正态性),它们在识别具有与正态相同的偏度和峰度但明显非正态的分布方面很糟糕。

*(参见 Bowman 和 Shenton 的测试以及更知名的测试 - 但我认为做得不太好 - Jarque 和 Bera 的工作)

这是一个这样的分布的密度示例: dgam 2.3

它是双峰的,但偏度为 0,峰度为 3.00(到两个 dp——即过度峰度为 0),与正常情况相同。

基于偏度和峰度的度量在识别此类分布时会很糟糕。当然,如果您不担心这种可能性,这可能无关紧要 - 如果您主要想挑选偏度和峰度偏离正常值的情况,基于这两个度量的测试相对强大。

(顺便说一句,Shapiro-Wilk 测试非常擅长发现这一点。)

最终,选择这样的度量(无论您是否打算正式测试它)是找到能够很好地区分您关心的特定类型的非正态性的事物的问题。(在假设检验中,那些对感兴趣的特定替代方案有很好的能力的人。)

因此,找出您最想“看到”哪些特征,并选择一个能够很好地看到这些事物的度量。

您提到的卡方可能是指卡方拟合优度检验。除了名义类别的分布之外,它通常是一个非常弱的拟合优度测试。(或者,它可能是对 Jarque-Bera 类型检验的渐近卡方分布的参考。请注意,那里的渐近线确实非常非常缓慢地起作用。)

流行的常态测试将从夏皮罗-威尔克和夏皮罗-弗朗西亚开始。Anderson-Darling** 检验可以适应参数估计并具有良好的功效。还有拟合优度的平滑测试(参见 Rayner 和 Best 同名的小书,以及他们的许多论文,以及最近关于 R 中的平滑测试的书);正常的平滑测试非常强大。

** 对于假设完全指定分布的假设检验,例如 Kolmogorov-Smirnov 和 Anderson-Darling,避免使用基于估计参数值的正态性检验除非您考虑到这种影响,否则测试没有正确的属性。在 KS 的情况下,您最终会得到所谓的 Lilliefors 测试。对于 AD,它仍然被称为 AD 测试,如果你查看我在下面提到的 D'Agostino 和 Stephens 的书,有一些近似值可以适应通常的测试,即使n相当小,它们似乎也能很好地工作。

如果您不想要正式的假设检验,那么几乎任何常用的检验统计量都可以调整为具有某种解释或其他作为非正态性度量的度量。例如,Shapiro-Francia 检验统计量可以看作是观测值与其正态分数(预期正态顺序统计)的平方相关的重新调整版本,并且这种度量是正态 QQ 图的极好伴侣。

我想确定这些数据是否为高斯数据。

我打赌你一美元,他们不是高斯的,我敢打赌你甚至不需要测试来证明这一点。你真正想知道的可能是别的东西。

请注意,通常有趣的问题不是“我的数据是否正常”(即使在您收集任何观察结果之前,答案几乎总是“显然不是”)。有趣的问题是“我的非正态性会对我想做的事情产生多大的影响?” ...而且通常可以通过某种衡量它的非正常程度而不是 p 值来更好地判断。

开始阅读拟合优度的好地方(如果您可以访问合适的图书馆)将是D'Agostino 和 Stephens的《拟合技术的优度》一书以及 Rayner 和 Best 的上述关于平滑测试的书;或者,您可以在网上找到许多论文和讨论,包括许多与拟合优度相关的答案。除了一些在线论文之外,很难找到有关顺利测试的信息,但 Cosma Shalizi 的其中一门课程有一些出色的笔记,请参见此处,作为对这些想法的(有点数学的)介绍。

[合身度是一个令人惊讶的大领域。]


有关其他有用点,另请参阅此处此处此处此处