为什么 F 检验对正态假设如此敏感?

机器算法验证 正态假设 f检验
2022-01-23 00:43:28

为什么方差差异的F检验对正态分布的假设如此敏感,即使对于大N?

我试图搜索网络并访问了图书馆,但没有一个给出任何好的答案。它说该测试对于违反正态分布假设非常敏感,但我不明白为什么。有人对此有很好的答案吗?

2个回答

我假设您的意思是在测试一对样本方差是否相等时对方差比率进行 F 检验(因为这是对正态性非常敏感的最简单的检验;ANOVA 的 F 检验不太敏感)

如果您的样本来自正态分布,则样本方差具有缩放的卡方分布

想象一下,不是从正态分布中提取的数据,而是比正态分布更重的分布。那么相对于缩放的卡方分布,你会得到太多的大方差,并且样本方差进入最右边的概率对从中提取数据的分布的尾部非常敏感=。(也会有太多的小差异,但效果有点不明显)

现在,如果两个样本都是从较重的尾分布中抽取的,则分子上较大的尾将产生过多的大 F 值,而分母上较大的尾将产生过多的小 F 值(左尾反之亦然)

即使两个样本具有相同的方差,这两种影响都会导致双尾检验中的拒绝这意味着当真实分布比正态分布更重时,实际显着性水平往往高于我们想要的水平。

相反,从较轻的尾部分布中抽取样本会产生一个尾部太短的样本方差分布——方差值往往比从正态分布中获得的数据更“中等”。同样,远上尾的影响比下尾强。

现在,如果两个样本都是从那个较轻的尾分布中抽取的,这会导致中位数附近的 F 值过多,而任一尾的 F 值太少(实际显着性水平将低于预期)。

随着样本量的增加,这些影响似乎不一定会减少很多。在某些情况下,情况似乎变得更糟。

作为部分说明,这里有 10000 个样本方差(对于n=10) 为正常,t5和均匀分布,按比例缩放以具有与 a 相同的均值χ92

在此处输入图像描述

看到远尾有点困难,因为它与峰值相比相对较小(并且对于t5尾部的观察结果延伸到我们绘制的位置之外),但我们可以看到对方差分布的影响。通过卡方 cdf 的倒数来转换这些可能更有启发性,

在此处输入图像描述

在正常情况下看起来是一致的(应该如此),在 t 情况下,在上尾有一个大峰(在下尾有一个较小的峰),在一致的情况下更像山,但有一个宽峰值大约在 0.6 到 0.8 之间,如果我们从正态分布中采样,极值的概率要低得多。

这些反过来对我之前描述的方差比率的分布产生影响。同样,为了提高我们看到尾部效果的能力(这可能很难看到),我已经通过 cdf 的倒数进行了转换(在这种情况下为F9,9分配):

在此处输入图像描述

在双尾检验中,我们查看 F 分布的两个尾部;t5从制服中提取时,两者的代表性都不足。

将有许多其他案例需要调查以进行全面研究,但这至少可以让您了解效果的种类和方向,以及它是如何产生的。

正如Glen_b在他的模拟中出色地说明的那样,方差比率的 F 检验对分布的尾部很敏感。原因是样本方差的方差取决于峰度参数,因此基础分布的峰度对样本方差比的分布有很大的影响。

为了解决这个问题,O'Neill (2014)为解释基础分布的峰态的方差比率推导出了一个更一般的分布近似值。特别是,如果您有总体方差SN2和样本方差Sn2n<N然后该论文的结果 15 给出了分布近似

SN2Sn2Approxn1N1+NnN1F(DFC,DFn),

其中自由度(取决于基础峰度κ) 是:

DFn=2nκ(n3)/(n1)DFC=2(Nn)2+(κ3)(12/N+1/Nn).

在中峰分布(例如,正态分布)的特殊情况下,您有κ=3,它给出了标准的自由度DFn=n1DFC=Nn.

尽管方差比的分布对潜在的峰度很敏感,但它实际上对正态性本身并不是很敏感。如果您使用形状与正态不同的中峰分布,您会发现标准 F 分布近似表现得非常好。实际上,潜在的峰度是未知的,因此上述公式的实现需要替换估计量κ^. 通过这样的替换,近似应该表现得相当好。


请注意,本文使用 Bessel 校正定义总体方差(原因在论文中所述,第 282-283 页)。所以总体方差的分母是N1在这个分析中,不N. (这实际上是一种更有帮助的做事方式,因为总体方差是超种群方差参数的无偏估计量。)