Shapiro-Wilk统计量的 CDF 是多少?WW

机器算法验证 假设检验 分布 p 值 正态假设
2022-03-31 07:21:16

我试图了解 Shapiro-Wilk 测试的功能。到目前为止,我遇到了以下链接:

夏皮罗威尔克体重表中的值是如何计算的?

它解释了如何计算 shapiro-wilk 测试中的系数。接着:

夏皮罗-威尔克检验:正态性检验

它解释了计算检验统计量的例程,并提供了一个用于计算 p 值的脚本。在我看来,我将测试与标准 t 测试进行比较,其中测试统计量具有一定的 CDF,它可以帮助我们计算 p 值。在夏皮罗-威尔克测试的情况下,我无法弄清楚这一点。

2个回答

有许多正常性测试。其中一些基于数据的 QQ 图(正态概率图),根据各种标准测量 QQ 图的“接近线性”程度。

Shapiro-Wilk 测试的直观视图。在 QQ 图的目视检查中,真正正常样本的极值似乎会过度偏离直线。这是三个大小为的 每个随机样本,图的中心部分似乎非常接近线性,但尾部看起来“有点摇摆不定” 。”n=500.Norm(0,1),

在此处输入图像描述

(这些不是精心挑选的例子,它们是set.seed根据今天日期在 R 中的陈述产生的前三个大小为 500 的正常样本。)夏皮罗-威尔克检验的一个特点是它倾向于“降低”观察值在两条尾巴。三个 P 值shapiro.test分别为 0.3218225、0.7221126 和 0.8429852(均高于 0.05);所以所有三个样本都与正常人群的抽样一致。

set.seed(822)
shapiro.test(rnorm(500))$p.value
[1] 0.3218225
shapiro.test(rnorm(500))$p.value
[1] 0.7221126
shapiro.test(rnorm(500))$p.value
[1] 0.8429852

您可以在此站点上以及更普遍的在线上查看有关计算 Shapiro-Wilk 检验统计量的技术细节的讨论。但是出于您的目的,也许这个直观的描述将是一个有用的开始。

夏皮罗-威尔克检验的力量。正如NIST 手册(及其参考文献)中所述,与其他正态性测试相比,Shapiro-Wilk 测试以其对各种替代方案的高功效而闻名。

为了理解权力,您必须牢记特定的显着性水平和非正态分布。学生的 t 分布,自由度为和分布 (右偏,在形状上有点接近正常,如下图所示。ν=10μ=0,σ1.12)Gamma(shape=10,scale=10)μ=1,σ0.316)

在此处输入图像描述

我的印象是,特定情况下的功率通常是通过模拟获得的。的样本的这两个替代分布中的每一个,Shapiro-Wilk 正态性检验在 5% 水平上的近似功效。当数据来自替代分布时,幂是拒绝的概率。的功率值约为 65%, 的功率值高于 99% 。[使用次迭代,可以预期大约两位精度。]n=500.T(10)Beta(10,10).m=100,000

set.seed(818);  m = 10^5;  n = 500
p.val = replicate(m, shapiro.test(rt(n, 10))$p.val)
mean(p.val < 0.05)
[1] 0.65474

set.seed(2018);  m = 10^5;  n = 500
p.val = replicate(m, shapiro.test(rgamma(n, 10, 10))$p.val)
mean(p.val < 0.05)
[1] 0.99978

附录:P 值。传统上,Shapiro-Wilk 检验的显着性是使用检验统计量的表值确定的。现代软件程序中使用的 P 值似乎主要是由于 Patrick Royston 发表在应用统计:(1982)卷。31, 115-124 和 176-180, 和 (1995) Vol. 44, 547-551。[请参阅R 文档中的参考资料。] 1982 年的第二篇论文扩展了 P 值的算法以适应一般方法是找到一个有用的变换以使测试统计量近似正常。目前,R 接受大小为W.shapiro.testn2000.W3n5000. 的 P 值,不能保证最佳精度。0.1.

模拟可以直观地了解特定在 R 中,代码生成大小的标准正态样本,其中 R 给出,p 值Wn.set.seed(1234); rnorm(500)n=500W=0.99623=0.2848.

为了模拟的分布,我们使用以下程序:Wn=500,

set.seed(1234); x = rnorm(500);  w.obs=shapiro.test(x)$stat
set.seed(2018);  m = 10^5;  n = 500
w = replicate(m, shapiro.test(rnorm(n))$stat)
mean(w < w.obs)
[1] 0.28396

下面的直方图显示了 W 的模拟分布的观察值,我们的样本的 P 值约为 0.2848。WW=0.9962

在此处输入图像描述

来自具有连续检验统计量的检验的精确 P 值的零分布是如果我们运行与上述类似的模拟,但捕获 P 值(而不是测试统计数据),我们可以看到 Shapiro-Wilk P 值与这种均匀分布的接近程度。因为我们的 P 值不是基于连续测试统计并且不完全正确,所以我们并不完全适合制服。 (拒绝)的最左侧条的面积约为]Unif(0,1).<0.050.05.

在此处输入图像描述

tl; dr:没有已知的分布。即它没有名字。您改为使用模拟。

我发现可以提供一些见解:

基本上,Shapiro 和 Wilk 只计算了的截断分布和其他地方为零。n=3Beta(12,12)34w1

对于,统计中的系数值(有序统计的预期值,协方差矩阵的时间倒数,范数)被精确计算,但没有分布的名称。对于,这些系数只是近似的,并且使用了(蒙特卡罗)模拟。3<n2020<n50

一些研究人员试图找到本身没有名字的渐近分布。

Leslie、Stephens 和 Fotopoulos 证明了其中并且是 iidn(wE(w))k=3Zk21kZkN(0,1)

但无论如何,这也被证明是收敛的

“以令人痛苦的缓慢速度。......由于这些原因,极限分布似乎没有太多实际用途,对于,似乎仍然需要蒙特卡罗模拟。”n>50