一般来说，我是置换测试的粉丝，但它们的构造有一些重要的考虑因素可以解释为缺点。但是，它们也有好处，这使我在绝大多数情况下都支持置换测试。

好处

1. 对于设计的实验，您始终可以构建与您的实验设计相匹配的置换检验。有很多关于这方面的论文，但我最喜欢的一篇是Marti Anderson的 Permutation Tests for Multi-Factorial Analysis of Variance。

2. 如果构造得当，排列测试并不真正依赖于对您的数据的无法验证的假设。Tukey 在Tightening the Clinical Trial中详细讨论了这一点，如果您对非参数分析感兴趣，值得一读。

这两个好处很有价值 - 由置换测试生成的 p 值（和置信区间）可以仅通过测试的构造来证明。此外，使用像 t 检验这样的渐近检验的主要好处是它更容易计算，但渐近检验永远不会比置换检验更精确。因此，如果计算能力不受限制，您应该进行置换测试。

然而，这并不是说置换测试是完美的。

缺点

1. 与渐近测试相比，置换测试效率低下。当您只有几个观察值时，可能无法将 alpha 控制在您想要的水平并且仍然进行置换测试。然而，这可以通过收集更多数据来缓解。

2. 测试统计量的选择是要记住的一个更重要的缺点。作为一般经验法则，对于任何给定的指标$\beta$，你应该使用$\beta /s.e.(\beta)$作为检验统计量。置换检验往往对分布差异而不是参数差异敏感，但使用关键（或近似关键）检验统计量可以解决此问题。一种方便的方法是将您的兴趣比较除以其标准误差的估计值。这由 Chung 和 Romano 在Exact and asymptotically robust permutation tests中讨论。这并不能完全解决问题 - 将不对称分布与大量异方差进行比较仍然很困难，但用渐近检验也很难做到。

总的来说，我支持置换测试有两个主要原因：1. 您可以使用置换测试分析任何实验设计（尽管不一定是精确的）和 2. 可以减轻其缺点。