我有两组数据要使用 t 检验进行比较，样本大小均为 n = 5。由于样本量太小，很难检查测试的正态性假设是否成立。
我已经读到，在这种情况下，t 检验对非正态性是稳健的，因为样本量是相等的。但是，如果数据非常不正常，它可能不再是稳健的。另一种方法是执行 Mann-Whitney U 检验，但该检验的效力低于 t 检验（尽管我不确定有多低）。实际上，我一直都遇到类似的情况，并意识到可能没有明确的答案，但我只是好奇社区中的其他人会如何解决这类问题。我通常只使用 t 检验并告诉其他人也这样做，因为他们比 MW 测试更熟悉该测试。
我将如何解决这个问题：如果不满足（或不知道）应用它的要求，我不会进行 t 检验。这对我来说似乎是显而易见的，也是任何假设检验的良好实践。仅仅熟悉一个或其他测试高于其他测试并不是一个理由。您能否详细说明您发现来自未知和无法验证的总体分布的两个小样本的中心性差异对非正态性具有鲁棒性？我觉得这很难接受。像 MW 这样的非参数检验比较总体中位数的差异（与平均值相反），因为中位数更稳健。在您无法测试总体分布的情况下尤其如此。您是否有任何先前的信息或证据表明这两个样本来自同一人群？也许对实验的描述可能有助于判断。您可能会在此处突破假设检验可以为您做什么的界限。对于小样本（我想没有可用的重复实验？）并且没有任何关于总体的信息，我不想涉及和量化统计概念，如功效、显着性、CI 等。你所能做的就是列出一些描述对于两个样本（引用两个中位数或它们的差异，相对于它们的总和；它们的差异的范围和最大范围等）。但是，如果您可以通过绘制许多大小为 n=5 的样本来重复，那将改变很多情况。这对你来说是一个选择吗？您可能会在此处突破假设检验可以为您做什么的界限。对于小样本（我想没有可用的重复实验？）并且没有任何关于总体的信息，我不想涉及和量化统计概念，如功效、显着性、CI 等。你所能做的就是列出一些描述对于两个样本（引用两个中位数或它们的差异，相对于它们的总和；它们的差异的范围和最大范围等）。但是，如果您可以通过绘制许多大小为 n=5 的样本来重复，那将改变很多情况。这对你来说是一个选择吗？您可能会在此处突破假设检验可以为您做什么的界限。对于小样本（我想没有可用的重复实验？）并且没有任何关于总体的信息，我不想涉及和量化统计概念，如功效、显着性、CI 等。你所能做的就是列出一些描述对于两个样本（引用两个中位数或它们的差异，相对于它们的总和；它们的差异的范围和最大范围等）。但是，如果您可以通过绘制许多大小为 n=5 的样本来重复，那将改变很多情况。这对你来说是一个选择吗？量化统计概念，如功效、显着性、CI 等。您真正能做的就是列出两个样本的一些描述（引用两个中位数或它们的差异，相对于它们的总和；它们的差异的范围和最大范围等。 ）。但是，如果您可以通过绘制许多大小为 n=5 的样本来重复，那将改变很多情况。这对你来说是一个选择吗？量化统计概念，如功效、显着性、CI 等。您真正能做的就是列出两个样本的一些描述（引用两个中位数或它们的差异，相对于它们的总和；它们的差异的范围和最大范围等。 ）。但是，如果您可以通过绘制许多大小为 n=5 的样本来重复，那将改变很多情况。这对你来说是一个选择吗？
您绝对应该考虑置换检验，因为您可以使用均值作为检验统计量并且假设要少得多。如果你谷歌排列测试或在这里搜索，你会发现很多信息。一个实现R（取自对我的一个问题的这个很好的答案）：
a <- rnorm(5)
b <- rnorm(5, 0.5)
DV <- c(a, b)
ids <- seq(along = DV) # indices to permute
idx <- combn(ids, length(a)) # all possibilities for different groups
# function to calculate difference in group means given index vector for group A
getDiffM <- function(x) { mean(DV[x]) - mean(DV[!(ids %in% x)]) }
resDM <- apply(idx, 2, getDiffM) # difference in means for all permutations
diffM <- mean(a) - mean(b) # empirical differencen in group means
# p-value: proportion of group means at least as extreme as observed one
(pVal <- sum(resDM >= diffM) / length(resDM))