1. 只有非正交比较需要调整的想法是一个神话。参见 Frane (2015) 的第 6.1 节：http: //jrp.icaap.org/index.php/jrp/article/view/514/417

2. 一般来说，计算几个替代统计数据并选择一个给你最喜欢的答案的策略是一个糟糕的策略，并且可能导致错误膨胀（因为它本身就是多重比较的一种形式）。最好在查看数据之前制定统计计划。

3. Bonferroni 没有 Holm 强大。Holm 不如其他一些需要更多假设的程序强大。Sidak 仅比 Bonferroni 强大一点，并且需要假设非负依赖。如果您只想比较每种治疗以进行控制，而不是将不同的治疗相互比较，您可以使用 Dunnett 程序（专为此目的而设计）。

4. 不确定您所说的“事后”是什么意思。不幸的是，不同的人以不同的方式使用该术语。

5. 每当您进行多个比较时，多重性都适用。

6. 见 5。

7. 如果您对综合结果不感兴趣，则没有理由执行综合测试。正如您所观察到的，您可以直接进行单独的测试，针对多重性进行调整（尽管对这些测试使用综合错误术语可能是明智的，这在某些情况下可以提供更多的功能）。有些人进行综合测试，然后使用Fisher 的LSD 方法（即进行不调整的个体比较），但这通常不能控制家庭错误率，因此可能难以证明是正确的。

8. 我不明白为什么主效应的重要性会固有地影响您是否调整其他测试。

回复 @Sophocole 于 2016 年 8 月 5 日对 @Bonferroni 于 2016 年 8 月 3 日的回复。

我不知道您在 IBM 与谁交谈过，但 SPSS 有几种方法来控制家庭错误率，包括 Bonferroni、Tukey 和 Dunnett 测试（只需谷歌“SPSS 中的多重比较”，您就会看到）。任何其他有信誉的统计软件包也是如此，包括 SAS 和 R。如果您使用像 Bonferroni 这样的简单方法，您可能可以在脑海中进行调整。

关于对单个比较进行多次测试并选择最适合您答案的测试，很容易看出问题所在。如果您尝试一种以 5% 的比率产生错误的方法，但随后您将获得第二、第三和第四次使用替代方法的机会，显然错误率将大于 5%。这就像玩飞镖并在飞镖板上稍微不同的位置设置第二、第三和第四个靶心——显然，你增加了幸运的机会。

如果您处于研究的早期阶段，您只是在探索并且错误率不是一个大问题，那么无论如何，测试您的心脏并且不要为调整而烦恼 - 您甚至可以只需查看图表和均值差异，如果适合您的需要，则根本不进行任何正式测试。但是，如果您试图根据您的结果发表声明或出售治疗方法，您可能需要严格的统计数据。而且，如果您想获得 FDA 批准的药物，您可以忘记在错误控制方面松懈！

顺便说一句，您可能想再次阅读中川的那篇文章。似乎他并不是在反对“完全摆脱多重性调整”。他显然认为 Bonferroni 和 Holm 通常对行为生态学研究过于保守，但他确实支持错误发现率控制。

不管有什么价值，我都提供以下评论：

• 我说不应该或不可能达成任何共识（或至少有一种方式来做到这一点），因为有多种方式来描述这种调整，任何调整多重性的后果的严重性取决于主题，政治，经济，一年中的时间，历史，时间敏感性等。选择方法的充分信息不是统计领域固有的。

• 但是，我不认为如果有人同意没有达成共识，最终用户就可以做任何适合他们需要的事情。这部分是因为我们所有人都可以很好地将各种事情合理化。

• 多重性不仅仅以犯至少一个 I 类错误的概率为特征。一个人可能会满足于保持至少四个 I 类错误不大于指定值的概率。对于大量比较，指定和使用错误发现率可能更有意义。

• 为什么选择方法取决于主效应是否显着？我认为需要在数据收集之前（或至少在查看结果之前）做出关于做什么的决定，并且不应受到任何一组
  结果的影响。

• 如果感兴趣的比较独立存在，则不需要多重比较调整。而且我没有看到正交对比自动获得免费通行证。两个正交对比构成一组多重比较。

简而言之，要理解的重要问题是（1）通过任何特定的多重比较调整，您得到（和没有得到）什么，（2）调整可以有许多特征，以及（3）主题信息是必不可少的做一个决定。

TL;博士

关于您问题中的示例，您提到了三个测试：

1. $H_0^{(1)}: \mu_1=\mu_2$ versus $H_1^{(1)}: \mu_1 \ne \mu_2$
2. $H_0^{(2)}: \mu_1=\mu_3$ versus $H_1^{(2)}: \mu_1 \ne \mu_3$
3. $H_0^{(3)}: \mu_1=\mu_4$ versus $H_1^{(3)}: \mu_1 \ne \mu_4$

Let us take one individual test, e.g. the first one. As explained in What follows if we fail to reject the null hypothesis?, the goal is to find statistical evidence for $H_1$, using one value for a test-statistic observed from a sample. Based on the value of that test statistic in your sample you may conclude that $H_1$ is valid but you make type I errors. Such a type I error occurs whenever you are ''unlucky'' with the sample; it could be because of randomness the sample yields a value that rejects $H_0$ because of ''bad luck''. The probability that such a type I error occurs, or the probability that you have bad luck with the sample, is equal (for continuous rv) to the significance level $\alpha$.

If I now use one and the same sample and I perform three tests on it, then the probability that I have bad luck with the sample for at least one of the three tests will be at least $\alpha$, so the type I erro increases. If the three tests are independent the probability of a type I error in at least one of the three tests is $1-(1-\alpha)^3$

see also Family-wise error boundary: Does re-using data sets on different studies of independent questions lead to multiple testing problems?