Kolmogorov-Smirnov vs Mann-Whitney U 当有关系时

机器算法验证 wilcoxon-mann-whitney 检验 kolmogorov-smirnov 测试 领带
2022-04-07 16:48:53

我有一个由排名数据、大约 100 个案例和 2 个组组成的数据集。(这两组包含大约 1/3 和 2/3 的案例。)我想测试两组在中位数方面是否存在差异。我使用了 Mann-Whitney U 检验。一位同事建议,当有很多联系时,Kolmogorov-Smirnov 检验更准确。是这样吗?到什么程度?无论如何,MW 测试显示出统计显着性,而 KS 没有,所以我的问题有两个:(1)平局会影响 MW 测试中的 alpha 错误率还是仅影响 beta 错误率?(2) 在尝试检测中位数的差异(关于功率和 alpha 误差)时,KS 测试(测试的不仅仅是中位数)和 MW U 测试如何比较?简而言之,我信任哪个测试?

1个回答

我不确定你同事的说法的依据是什么——但在你接受他们的说法为真之前,他们应该支持他们提出的说法——有大量被误导的民间传说。(他们怎么知道这是真的?你有充分的理由认为在你的情况下它一定是真的吗?)

两个测试都假设连续分布,并且都受到关系的影响(但是,在 Mann-Whitney 中处理关系相对容易,并且一些软件会自动执行此操作)。

--

编辑:为了支持我关于 Mann-Whitney 的连续性假设的主张(因为 whuber 说我在这一点上是错误的,我最好证明这一点),我指的是Mann and Whitney (1947)的开头:

1. 总结。是具有连续累积分布函数的两个随机变量。xyfg

因此,对于 Mann 和 Whitney 的测试版本,他们确实明确地假设了连续性——而不是无所事事,因为他们在推导中确实依赖于它。但是,有可能(正如我稍后提到的)通过在关系模式下计算零点处的检验统计量的分布来处理 Mann-Whitney 中的关系,或者通过正确计算关系对方差的影响正态近似下的统计量(通常称为“平局调整”)。

--

对于这两个测试,如果关系的影响没有得到适当的处理,两种错误率都会受到影响——它们的第一类错误率会降低,而降低显着性水平必然会降低功效()。=1β

我不是 100% 清楚哪个测试可能会受到最大的影响,也不是在什么情况下,但我认为 KS 测试通常会有更高的灵敏度* - 这甚至在一个人“调整”曼恩之前 - Whitney 的关系(即,如果你使用正态近似值并使用方差来表示无关系情况)。

*(就个人而言,我会使用适合特定实例的模拟来查看在您看到的各种条件下,在这些样本大小下,属性会是什么。)

下面是在 R 中的默认设置(对于 Mann-Whitney在此样本量存在平局的情况下正确计算方差的正态近似):

在此处输入图像描述

为了使测试在 null 下“按广告宣传”工作,这些分布应该看起来接近均匀。如您所见,Mann-Whitney(至少在正确计算存在领带的情况下等级总和的方差时,如此处)确实非常接近均匀。由于(如我们所见)对于 Kolmogorov-Smirnov 检验,低于的 p 值的比例将远小于,因此该检验非常保守,对功效有相应的影响。[如果有的话,效果比我预期的要强一些。]αα

(以百分比计算,对检验统计量方差的影响相当小)

此外,如果您的兴趣在于位置转移替代方案,那么 Mann-Whitney 将拥有更大的力量来对抗该替代方案,因此即使由于离散性(我怀疑)它确实失去了更多力量,它也可能之后还有更多的权力。

你没有说你的数据有多紧密,也没有说哪种模式。如果这两个测试的影响比您准备接受的更大,您可以为您的数据使用任一测试统计量的排列分布(或使用其他一些统计量的排列分布,如果您愿意,包括样本中位数的差异)。

尽管许多书籍(尤其是在某些特定应用领域)都指出它是,但 Mann-Whitney实际上并不是对中位数差异的测试。但是,如果您另外假设在 null 下的人口分布相同,并将替代方案限制为位置偏移,那么这是对任何合理位置测量的差异的检验 - 人口中位数、人口下四分位数,甚至人口均值 (如果它们存在)。

事实上,不必将自己限制在位置转移替代方案上。假设在零下与将移动中位数(或任何其他位置测量)的替代方案的相同分布将起作用;因此,例如,在规模变化的假设下,它可以很好地作为中位数的测试。然而,我们必须记住,Mann-Whitney 是一个比这更普遍的检验,当我们依靠假设来使其成为中位数或其他什么的检验时,我们实际上确实依靠我们的假设来得出结论这意味着我们想要它。

简而言之,我信任哪个测试?

不要简单地相信任何人所说的话(包括我!)——除非他们有确凿的证据(我没有带来任何与你的情况直接相关的东西,也没有与权力有关的东西,因为我没有看到你的关系模式和我不是 100% 确定您是否只对位置变化感兴趣)。

你有什么样的数据(你在测量什么,你是如何测量的,以及关系是如何产生的)?你有兴趣了解什么?为什么提到中位数?

使用模拟来找出您考虑的任何测试在与您类似的情况下的表现,并自己决定是否有问题需要担心。对于这两个测试,看看平局对测试的影响,无论是在你关心的空值和替代方案下,然后是 Mann-Whitney 的情况,看看平局调整的效果,并将其与交易进行比较具有精确的排列分布(或在像您这样的大样本中,具有随机分布)。对于 KS,您还可以查看确切的排列分布。