Bonferroni校正的问题除了别人提到的保守主义之外，就是所有多重性校正的错误。它们不遵循基本的统计原则并且是任意的；在频率论世界中，多重性问题没有唯一的解决方案。其次，多重性调整基于以下基本哲学：一个陈述的真实性取决于接受哪​​些其他假设。这相当于贝叶斯设置，其中感兴趣参数的先验分布在考虑其他参数时变得更加保守。这似乎并不连贯。可以说，这种方法来自被假阳性实验历史“烧死”的研究人员，现在他们想弥补自己的错误。

为了扩展一点，请考虑以下情况。一位肿瘤学研究人员以研究某一类化学疗法的疗效为职业。她之前进行的所有 20 项随机试验的疗效均无统计学意义。现在她正在同一个班级测试一种新的化学疗法。生存获益显着，$P=0.04$. 一位同事指出，研究了第二个终点（肿瘤缩小），需要对生存结果进行多重调整，从而使生存获益微不足道。为什么这位同事强调了第二个终点，却不在乎调整之前 20 次失败的寻找有效药物的尝试？如果您不是贝叶斯主义者，您将如何考虑有关 20 项先前研究的先验知识？如果没有第二个端点怎么办。这位同事是否会相信已经证明了生存益处，而忽略了所有先前的知识？

他总结说，Bonferroni 调整在生物医学研究中的应用充其量是有限的，不应在评估有关特定假设的证据时使用。

Bonferroni 校正是最简单和最保守的多重比较技术之一。它也是最古老的之一，并且随着时间的推移得到了很大的改进。公平地说，Bonferroni 调整几乎在所有情况下的应用都是有限的。几乎可以肯定有更好的方法。也就是说，您需要对多重比较进行校正，但您可以选择一种不那么保守且功能更强大的方法。

不那么保守

多重比较方法可防止在一系列测试中出现至少一个误报。如果您在级别执行一项测试，那么您有 5% 的机会获得误报。换句话说，你错误地拒绝了你的零假设。如果您在水平上执行 10 次测试，那么这将增加到 = ~40% 的误报机会$\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

使用 Bonferroni 方法，您可以在尺度的最低端）来保护级别测试族。换句话说，它是最保守的。现在，您可以将增加到Bonferroni 设置的下限以上（即使您的测试不那么保守），并且仍然在级别保护您的测试系列。有很多方法可以做到这一点，例如 Holm-Bonferroni 方法或更好的错误发现率$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

更有力

引用的论文中提出的一个很好的观点是，第二类错误的可能性也增加了，因此真正重要的差异被认为是不重要的。

这个非常重要。一项强大的测试是一种能够发现显着结果（如果存在）的测试。通过使用 Bonferroni 校正，您最终会得到一个不太强大的测试。由于 Bonferroni 比较保守，因此功率可能会大大降低。同样，其中一种替代方法，例如错误发现率，将增加测试的能力。换句话说，您不仅可以防止误报，还可以提高发现真正重要结果的能力。

所以是的，当您进行多重比较时，您应该应用一些校正技术。是的，Bonferroni 可能应该避免使用一种不那么保守和更强大的方法

Thomas Perneger 不是统计学家，他的论文充满了错误。所以我不会太认真。它实际上受到了其他人的严厉批评。例如，Aickin 说 Perneger 的论文“几乎完全由错误组成”：Aickin，“Other method foradjusting multiple testing exists”，BMJ。1999年1月9日；318（7176）：127。

此外，即使没有多重性调整，原始问题中的任何 p 值都不是 < .05。因此，使用何种调整（如果有）可能并不重要。

关于 Bonferroni 校正和效果大小的一个很好的讨论http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html 此外，Dunn-Sidak 校正和 Fisher 的组合概率方法值得考虑作为替代方案。无论采用哪种方法，都值得报告调整后的和原始的 p 值加上效应大小，以便读者可以自由地解释它们。