如果您 100% 确定这两个样本来自具有不同分布的总体（一个高斯，一个不是），您确定需要任何统计检验吗？您已经确定这两个人群是不同的。这还不够吗？测试均值或中位数的差异真的有帮助吗？（当然，答案取决于你的科学目标，这不是最初问题的一部分。）

您可能需要 Wilcoxon 秩和，这里也称为 Mann-Whitney U。签名秩检验适用于配对样本，因此不适合您的情况。

您的选择基本上是在 t 检验或 Wilcoxon 之间进行选择，并在两者之间取得平衡

• 一方面，t 检验更强大，特别是在小样本（你有）中，但确实假设正常
• 另一方面，Wilcoxon 在远离正态时更强大，并且渐近接近 t 检验的幂（但你远离渐近线！）

所以你需要问的第一个问题是，我们在说什么不正常？如果我们说的很糟糕*，例如明显是双峰（或多峰！），或大量偏斜，则可能会排除 t 检验。

另一方面，作为一般经验法则，如果它看起来是钟形的，那么 t 检验可能是可以的。

可以说，正确的方法是在您处理太多真实数据之前对您的特定设置进行功率研究。假设您对非正态分布的形状有一些模糊的概念*，您应该从您的怪异分布和正态分布中生成假装样本，并查看 t 检验和 Wilcoxon 对您的蒙特卡洛数据的效果如何。

不要忘记您需要同时检查 False Positives 和 False Negatives。因此，在使原假设为真（即样本具有相同的均值）的地方运行一次，在它们因您正在寻找的近似效应大小（或对您而言“非常有趣”的效应大小）而不同的地方运行一次。

*我假设您必须有一些先验理由相信一个样本是不正常的，或者它绝对是可怕的 - 否则几乎不可能仅用 20 个数据点发现与正常的很大偏差。

如果治疗组的数据不正常，而对照组的数据不正常，听起来治疗可能只影响样本的一个子集或具有可变的影响水平。在这种情况下比较手段将丢失此信息。您应该尝试解释为什么会发生这种分布变化，而不仅仅是比较均值。秩检验假设两组都来自相同的形状分布。如果您认为分布不同，则测试对您的目的没有用。

让我们举一个例子来说明 U 检验会发生什么。我们将使我们的对照组来自均值=0的正态分布。同时，治疗将对一半受试者产生负面影响，对另一半产生积极影响。所以治疗组将来自两个正态分布。第一个平均值=-5，第二个平均值=5。所有分布的 sd=1 并且两组的样本大小=100。红色显示治疗组，蓝色显示对照组：

进行 U 检验（也称为 Wilcoxon 检验）的结果：

        Wilcoxon rank sum test with continuity correction

data:  a and b 
W = 4999, p-value = 0.999
alternative hypothesis: true location shift is not equal to 0

我们可以看到它返回“不显着”。你真的想得出治疗无效的结论吗？

用于生成上述内容的 R 代码：

##Generate Data
control<-rnorm(100,0,1) # create control data
treatment<-c(rnorm(50,-5,1),rnorm(50,5,1)) # create treatment data


##Plot data
# Get min/max values (for plotting)
min.val<-min(control,treatment)
max.val<-max(control,treatment)

# make plots
hist(treatment, breaks=seq(min.val-.1,max.val+.1,.5), col="Red",
xlab="Value", ylim=c(0,20),
main="Results"
)
hist(control, add=T, breaks=seq(min.val-.1,max.val+.1,.5),col="Blue")

##perform U-test
wilcox.test(treatment,control)

我认为在这种情况下，当我们有两个样本一个正态分布而另一个不是正态分布时，对数据进行转换以获得两个样本的正态分布并通过 t 检验比较均值会更准确。因为 t 检验对小样本更有效。否则我们可以使用非参数测试依赖于样本的类型独立或依赖。