Kolmogorov-Smirnov 检验与 t 检验

机器算法验证 分布 t检验 解释 kolmogorov-smirnov 测试
2022-01-16 07:47:51

我在理解 2 样本 KS 检验的解释以及它与 2 组之间的常规 t 检验有何不同时遇到了一些困难。

假设我有男性和女性做一些任务,我从该任务中收集一些分数。我的最终目标是确定男性和女性在该任务上的表现是否不同

所以我可以做的一件事是在两组之间进行测试。我可以做的另一件事是计算男性和女性的 ECDF,绘制它们,然后进行 2 个样本 KS 测试。我会得到这样的东西:

在此处输入图像描述

KS测试

KS 检验的原假设是 2 组连续分数分布来自同一人群

进行 KS 测试时,我得到:D = 0.18888,p 值 = 0.04742

首先,我想检查我对结果的解释是否正确。在这里,我会拒绝零假设,并说男性和女性的分数分布来自不同的人群。或者换句话说,男女分数的分布是不同的。

更具体地说,男性倾向于在这项任务中获得较低分数的概率更高,这就是我从情节中解释的两种性别之间的差异

T检验

现在在测试中将测试分数变量上男性和女性均值之间的差异。

让我们想象一下男性在这项任务中的表现比女性差的情况。在这种情况下,男性分数的分布将以较低的平均值为中心,而女性的分数分布将以较高的平均值为中心。这种情况与上图一致,因为男性获得较低分数的概率更高

如果 t 检验结果显着,我会得出结论,女性的平均得分明显高于男性。或者在人口方面,女性分数是从平均值高于男性人口的人群中得出的,这听起来与 KS 的结论非常相似,即她们来自不同的人群。

有什么不同?

所以我在 KS 和 t 测试用例中得出的结论是相同的。相对于女性而言,男性的表现较差。那么使用一种测试比另一种测试有什么好处呢?您是否可以从使用 KS 测试中获得任何新知识?

在我看来,男性分布以较低的平均值为中心,女性的分布以较高的平均值为中心是导致显着 t 检验的原因。但是同样的事实,男性得分较低的概率更高,这将导致情节看起来像上面那样并给出显着的 KS 测试。因此,两个测试的结果具有相同的根本原因,但也许有人会争辩说,KS 测试不仅考虑了分布的均值,还考虑了分布的形状,但是否有可能解析出原因仅来自测试结果的显着 KS 测试?

那么在测试中运行 KS 测试的价值是什么?并假设我可以满足这个问题的 t 检验的假设

1个回答

例如,为什么要使用两个样本 Kolmogorov-Smirnov 检验:

想象一下,总体均值相似,但方差却大不相同。Kolmogorov-Smirnov 检验可以发现这种差异,但 t 检验不能。

或者想象分布具有相似的均值和 sd,但男性具有双峰分布(红色),而女性(蓝色)则没有:

在此处输入图像描述

男性和女性的表现是否不同?是的 - 男性往往得分在 7.5-8 或 12.5-13 左右,而女性往往更倾向于在中间得分(接近 10 左右),但与该值相比,该值的聚集要少得多男性往往得分接近。

因此,与 t 检验相比,Kolmogorov-Smirnov 可以找到更普遍的分布差异。