Wilcoxon-Mann-Whitney 检验的性能与来自医疗数据仓库的大样本量(> 100,000)

机器算法验证 造型 大数据 wilcoxon-mann-whitney 检验
2022-04-06 02:23:04

两组患者的大型数据集(A 组:n = 100,000;B 组:n = 700,000)正在就他们的住院时间 (LOS) 进行比较。变量 LOS 在数据仓库中报告为整数,通常在 2 到 7 之间,因此每组中的数万名患者将具有相同的 LOS 值。A 组与 B 组的 LOS 是否不同?两组的LOS方差相差很大;两者都有偏态分布。

在医学文献中,人们通常会看到 Wilcoxon-Mann-Whitney 检验用于比较两组的 LOS,并将其报告为中位数之间差异的检验。通常由于不等的方差和样本量,这种方法不符合所谓的“纯移位模型”。

我想避免使用这种流行但有缺陷的方法,但有两个问题:

  1. 如果我按照最初的预期使用 WMW 测试(测试零假设 Prob(x < Y) = 0.5),那么不等的样本大小(100,000 对 700,000)或不等的方差是否会使测试结果无效?

  2. 有没有比较好的测试来比较两组的中位数 LOS?结果表明,A 组的中位 LOS 为 4 天,而 B 组的中位 LOS 为 5 天,因此先验地,鉴于样本量大,人们可能会预期两组的中位 LOS 存在显着差异。

1个回答

您的样本量如此之大,以至于在几乎任何合理的总体分布差异度量上都没有发现差异,这将是令人惊讶的。

在医学文献中,人们通常会看到 Wilcoxon-Mann-Whitney 检验用于比较两组的 LOS,并将其报告为中位数之间差异的检验。

您似乎已经清楚地了解,如果没有额外的假设,它并没有真正测试它。

通常由于不等的方差和样本量,这种方法不符合所谓的“纯移位模型”。

您不需要纯粹的移位替代方法来测试中位数是否相等;但是,这确实使解释拒绝变得容易得多。

如果我按照最初的预期使用 WMW 测试(测试零假设 Prob(x < Y) = 0.5),那么不等的样本大小(100,000 对 700,000)或不等的方差是否会使测试结果无效?

不等的样本量不会成为问题。对于 Wilcoxon-Mann-Whitney 而言,不等方差在任何方面都不是问题——尽管如果你想用它测试中位数的相等性(特别是,如果你想坚持你的替代方案可能只是位置变化)。离散性至少与方差一样重要。

这种方法可能存在挑战,但它们并不是真正来自这些方向。

有没有比较好的测试来比较两组的中位数 LOS?

您是否考虑过带有检验统计量的置换检验样本中位数的差异?不可能计算出精确的排列分布,但可以采样到任何所需的精度。

还有 Mood 的中值测试。它可能有点低功率,但对于那种样本量来说,这可能不是什么大问题。

不过,我真的认为这里不需要进行测试(您会拒绝);可能更有趣的是给出中位数差异的区间。