如果样本量很大,Kolmogorov-Smirnov-Test 是否过于严格?

机器算法验证 统计学意义 大数据 kolmogorov-smirnov 测试
2022-03-11 05:15:31

我经常听到这样的说法,即如果样本量相当大,KS-Test(用于比较两个样本描述的两个分布)过于严格,这意味着相等分布的 0 假设被经常拒绝。

在我的应用程序中,我得到了 2 个样本,每个样本有 1500 个观测值,并且给定 KS 统计量的 P 值较低。尽管如此,如果我绘制直方图/密度估计值,我的数据看起来很相似。

我的问题:我们能否使 KS-test 过于严格的陈述更加严格(我们能否说明观察次数的阈值?)。它是“真的”吗?有没有参考?

谢谢!PS:我知道这看起来像一个重复但检查网站的第一个建议我没有看到明确的重复。如果这是重复的,请参考我!:)

编辑:我添加了一些背景。我要比较的分布是逻辑回归模型中的解释变量。它是在某个样本 (A) 上开发的,我想将其应用于另一个样本 (B)。我无法测试模型,因为我不知道 B 的结果。人们在这里用来评估模型是否在 B 上给出合理结果的一种方法是测试类似分布的变量(KS 检验、卡方检验) )。

是否有更好的方法来评估在不知道 B 上的结果的情况下将在 A 上开发的模型应用到 B 上是否具有统计意义(谈到区分能力)?

1个回答

通过测试,您试图找出与零假设的偏差。样本越大,我们检测这种偏差的能力就越好,即使是很小的偏差。因此,如果您在大样本中进行测试,您将经常拒绝零假设,因为存在实质上的微不足道的偏差。这就是许多人说统计检验在大样本中过于频繁地拒绝零值时的意思。

严格来说他们是错误的:测试正确回答了用户提出的问题,只是用户提出的问题不是他想问的问题......但是尝试为假设设计一个测试程序:两个分布是相等的,忽略实质上微不足道的差异。我们(人类)可以决定什么是实质上微不足道的,而像统计测试这样的程序则不能。