我有测试数据,其中有几个来自离散分布的大样本,我将其用作经验分布。我想测试分布是否真的不同,以及那些实际上不同的分布的平均值差异是什么。
由于它们是离散分布,我的理解是,由于潜在的连续分布假设,Kolmogorov-Smirnov 检验是无效的。卡方检验是否是检验分布是否实际不同的正确检验?
对于均值差异,我将使用什么测试?更好的方法是从分布中采样并获取差异,然后对差异的分布进行分析?
我有测试数据,其中有几个来自离散分布的大样本,我将其用作经验分布。我想测试分布是否真的不同,以及那些实际上不同的分布的平均值差异是什么。
由于它们是离散分布,我的理解是,由于潜在的连续分布假设,Kolmogorov-Smirnov 检验是无效的。卡方检验是否是检验分布是否实际不同的正确检验?
对于均值差异,我将使用什么测试?更好的方法是从分布中采样并获取差异,然后对差异的分布进行分析?
Kolmogorov-Smirnov 仍然可以使用,但是如果您使用列表中的临界值,它将是保守的(这只是一个问题,因为它会降低您的功率曲线)。最好获得统计数据的排列分布,这样您的显着性水平就是您选择的水平。如果有很多关系,这只会产生很大的不同。这种改变真的很容易实现。(但 KS 测试并不是唯一可能的此类比较;如果要计算置换分布,还有其他可能性。)
在我看来,离散数据的香草卡方拟合优度测试通常是一个非常糟糕的主意。如果上述潜在的功率损失阻止了您使用 KS 检验,那么卡方的问题通常要严重得多 - 它会抛出最关键的信息,即类别之间的顺序(观察值),从而降低其功率通过将其分布在不考虑排序的替代方案中,因此在检测平滑替代方案方面更糟糕——例如位置和规模的变化)。即使有上述严重关系的不良影响,KS 测试在许多情况下仍然具有更好的能力(同时仍然降低了 I 类错误率)。
卡方也可以修改以考虑排序(通过正交多项式将卡方划分为线性、二次、三次等分量,并且仅使用低阶少数项 - 4 到 6 是常见的选择)。Rayner 和 Best(以及其他人)的论文讨论了这种源自 Neyman-Barton 平滑测试的方法。这是一种很好的方法,但如果您无法访问它的软件,则可能需要进行一些设置。
任何一种修改方法都应该没问题,但如果你不打算修改任何一种方法,卡方不一定会比 KS 测试更好 - 在某些情况下它可能会更好......或者它可能会更糟。
如果关系很轻(即数据有很多不同的值),我会按原样考虑 KS。如果它们是中等的,我会考虑计算排列分布。如果它们非常重(即数据仅采用几个不同的值),则普通卡方可能具有竞争力。