我经常听到这样的说法,即如果样本量相当大,KS-Test(用于比较两个样本描述的两个分布)过于严格,这意味着相等分布的 0 假设被经常拒绝。
在我的应用程序中,我得到了 2 个样本,每个样本有 1500 个观测值,并且给定 KS 统计量的 P 值较低。尽管如此,如果我绘制直方图/密度估计值,我的数据看起来很相似。
我的问题:我们能否使 KS-test 过于严格的陈述更加严格(我们能否说明观察次数的阈值?)。它是“真的”吗?有没有参考?
谢谢!PS:我知道这看起来像一个重复但检查网站的第一个建议我没有看到明确的重复。如果这是重复的,请参考我!:)
编辑:我添加了一些背景。我要比较的分布是逻辑回归模型中的解释变量。它是在某个样本 (A) 上开发的,我想将其应用于另一个样本 (B)。我无法测试模型,因为我不知道 B 的结果。人们在这里用来评估模型是否在 B 上给出合理结果的一种方法是测试类似分布的变量(KS 检验、卡方检验) )。
是否有更好的方法来评估在不知道 B 上的结果的情况下将在 A 上开发的模型应用到 B 上是否具有统计意义(谈到区分能力)?