一段时间以来，我一直在为多重比较的想法苦苦挣扎。例如，在事后测试期间，在多个变量之间进行方差分析时，校正多重比较很容易理解和校正。但是，如果您有几个单独的假设，您如何在测试之间进行校正？
例如，在设置研究时，我有一个包含两个主要先验假设的数据集。后来，在考虑任何有趣的情况时，我想到了拆分数据，或者合并组等，并研究更多的问题。他们都会回答不同的问题，但我最终得到了大约 20 个独立的测试（t 检验和 ANOVA）。显然，这是探索性的，因为我没有事先指定这些测试，因为我主要对两个先验假设感兴趣。我还应该纠正多重比较吗？你通常如何在 4 个 t 检验和 6 个 ANOVA 之间做到这一点？
做这么多测试钓鱼和一般的不良做法吗？我应该完全忽略它，还是可以简单地称它为探索性的？
注意：我使用的数据有 4 组，每组约 5 名受试者。根据合并或拆分数据，我有大约 4 个感兴趣的因变量。我可以以几种有意义的方式将这 4 个组分组在一起，因变量也是如此。因此，对于如何查看数据，我有很多选择。
但是，如果您有几个单独的假设，您如何在测试之间进行校正？
现在有很多关于这个的争论。现在几乎有一个共识，即您不应该只是在数据中四处寻找重要的 p 值，因为这会扩大 I 类错误（显然）。
然而，效果大小也不是您之前所做的任何分析的产物——它们只是数据的产物。那么，为什么你第 20 次做的测试会因为你的先验思维而比你碰巧做的第 1 次测试更不可信呢？
显然，这里有一种张力。
我还应该纠正多重比较吗？你通常如何在 4 个 t 检验和 6 个 ANOVA 之间做到这一点？
没有直接的或商定的方式来做到这一点。事后比较有任意数量的更正（Bonferroni、HSD、Holm 等）。我的一位教授有一个非常好的建议：“如果做某事有很多方法，那是因为没有最好的方法。” 或者，至少，没有广泛认可的方法。
您可以简单地将 0.05 除以 10（您进行的测试总数，类似于 Bonferroni 校正）非常保守。但是，这可能会给您一个 II 型错误，因为您先验地错了，我们也不希望这样！
做这么多测试钓鱼和一般的不良做法吗？
收集数据，而不是先验地找到你想要的东西，然后四处挖掘，做几十次测试，然后找到有意义的东西，这不是坏习惯。但是，如果您将发现传达给听众，就像您所做的第一次测试一样，就像您一直都在预测一样，并且隐藏您之前进行的任何其他测试，这将成为一种不好的做法。如果您隐藏了之前进行的可能与您发现的重要发现相矛盾的测试，这将成为一种灾难性的做法。
我应该完全忽略它吗
不，但比你通常更怀疑（我希望你总是对一项研究的发现持怀疑态度）。
我可以简单地称之为探索性吗？
是的。可以将此分析包含在论文中。但是，要非常坦率地说明你事先做了多少测试，你最初没有预测到它，并报告你在数据中所做的任何分析，这些分析可能与你发现的任何东西相矛盾。
另外，不要太认真地对待一项研究。我忘记了是谁先说的——我相信这归功于很多人——但俗话说，“一盎司的复制胜过大量的推论统计。” 与其对如何纠正 p 值大惊小怪，何不采取你的有趣发现并用一个强大的样本来复制它呢？
如果我正在审查一篇论文并且有人说，“我们在数据中挖掘并找到了 X。这是显示 X 的研究”，我可能会拒绝。
但是，如果有人说，“我们在数据中挖掘并发现了 X。这是一项显示 X 的研究。现在这里是直接和概念上复制 X 的研究 2、3 和 4。” 我会说，太棒了！谁在乎你一开始没有预料到呢？您现在已经完成了许多复制它的测试，显示出它是 I 类错误的可能性较小。
总而言之：随心所欲地挖掘。了解您的数据。但是不要找到 p < .05，跑开，只告诉别人，假装你一直都有这个想法。如果你发现一些有趣的东西，想想它，把它放在你的后兜里，如果你认为它真的值得，就试着复制它。
这是一个热点问题，我相信有些人可能不同意我的看法。但我认为我提出的是一种合理的方法来进行探索性分析，当校正 p 值不在测试范围内时（即，我只是对 ANOVA 的事后比较进行 HSD），而是在许多不同的，概念上不同的统计检验。