我在理解 2 样本 KS 检验的解释以及它与 2 组之间的常规 t 检验有何不同时遇到了一些困难。
假设我有男性和女性做一些任务,我从该任务中收集一些分数。我的最终目标是确定男性和女性在该任务上的表现是否不同
所以我可以做的一件事是在两组之间进行测试。我可以做的另一件事是计算男性和女性的 ECDF,绘制它们,然后进行 2 个样本 KS 测试。我会得到这样的东西:
KS测试
KS 检验的原假设是 2 组连续分数分布来自同一人群
进行 KS 测试时,我得到:D = 0.18888,p 值 = 0.04742
首先,我想检查我对结果的解释是否正确。在这里,我会拒绝零假设,并说男性和女性的分数分布来自不同的人群。或者换句话说,男女分数的分布是不同的。
更具体地说,男性倾向于在这项任务中获得较低分数的概率更高,这就是我从情节中解释的两种性别之间的差异
T检验
现在在测试中将测试分数变量上男性和女性均值之间的差异。
让我们想象一下男性在这项任务中的表现比女性差的情况。在这种情况下,男性分数的分布将以较低的平均值为中心,而女性的分数分布将以较高的平均值为中心。这种情况与上图一致,因为男性获得较低分数的概率更高
如果 t 检验结果显着,我会得出结论,女性的平均得分明显高于男性。或者在人口方面,女性分数是从平均值高于男性人口的人群中得出的,这听起来与 KS 的结论非常相似,即她们来自不同的人群。
有什么不同?
所以我在 KS 和 t 测试用例中得出的结论是相同的。相对于女性而言,男性的表现较差。那么使用一种测试比另一种测试有什么好处呢?您是否可以从使用 KS 测试中获得任何新知识?
在我看来,男性分布以较低的平均值为中心,女性的分布以较高的平均值为中心是导致显着 t 检验的原因。但是同样的事实,男性得分较低的概率更高,这将导致情节看起来像上面那样并给出显着的 KS 测试。因此,两个测试的结果具有相同的根本原因,但也许有人会争辩说,KS 测试不仅考虑了分布的均值,还考虑了分布的形状,但是否有可能解析出原因仅来自测试结果的显着 KS 测试?
那么在测试中运行 KS 测试的价值是什么?并假设我可以满足这个问题的 t 检验的假设