假设我有一个包含两个或更多因素的实验。构建了一个整体 ANOVA，然后我们跟进两组或更多组事后检验，比如多重比较。我的问题是关于应该使用多大——以及有多少——家庭作为这些事后测试的多重性调整的基础。

一个例子是 Tukey 的 EDA 书中的 warp-breaks 数据集。有两个因素：（wool在两个层面上）和tension（在三个层面上）。方差分析表是：

Source       Df Sum Sq Mean Sq F value    Pr(>F)    
wool          1  450.7  450.67  3.7653 0.0582130
tension       2 2034.3 1017.13  8.4980 0.0006926
wool:tension  2 1002.8  501.39  4.1891 0.0210442
Residuals    48 5745.1  119.69  

显然，模型中需要交互。因此，我们决定对每个因素的水平进行比较，同时保持另一个因素不变。结果如下，后面会提到一些注释：

*** Pairwise comparisons of tension for each wool ***
*** All combined: Family T ***

wool = A:   *** Family T|A ***
 contrast   estimate       SE df t.ratio
 L - M    20.5555556 5.157299 48   3.986
 L - H    20.0000000 5.157299 48   3.878
 M - H    -0.5555556 5.157299 48  -0.108

wool = B:   *** Family T|B ***
 contrast   estimate       SE df t.ratio
 L - M    -0.5555556 5.157299 48  -0.108
 L - H     9.4444444 5.157299 48   1.831
 M - H    10.0000000 5.157299 48   1.939


*** Comparison of wool for each tension ***
*** All combined: Family W ***

tension = L:   *** Family W|L ***
 contrast  estimate       SE df t.ratio
 A - B    16.333333 5.157299 48   3.167

tension = M:   *** Family W|M ***
 contrast  estimate       SE df t.ratio
 A - B    -4.777778 5.157299 48  -0.926

tension = H:   *** Family W|H ***
 contrast  estimate       SE df t.ratio
 A - B     5.777778 5.157299 48   1.120

我认为那里有不同的做法，我想知道哪些是最常见的，以及人们会为每种方法提出哪些论据。在计算调整$P$值，我们是否应该对...进行多重调整

1. 五个最小的家庭（T|A、T|B、...、W|H）中的每一个？（注意 - 最后 3 个家庭只有一项测试，因此不会对这些家庭进行多重调整）
2. 每个较大的家庭（T，有 6 个测试和 W，有 3 个测试）分别？
3. 全部$6+3=9$考试算是一个大家庭？

我对人们通常做什么（即使他们没有考虑太多）和为什么（如果他们有的话）感兴趣。我可能会提到的几件事是：

• 有3个$F$ANOVA 表中的测试。我不记得看到有人考虑对 ANOVA 测试进行多重性调整。如果是这种情况，并且您推荐选项（3），您是否不一致？
• 如果我们做了一个稍微小一点的实验，所有测试都不太强大，那么交互作用可能不会很显着，从而导致仅对边际均值进行的事后比较的数量要少得多。此外，在较大的实验中，边际均值的 SE 可能比单元均值更小。此外，如果多重性调整不那么保守，我们可以用更少的数据得到比用更多数据得到的更“显着”的结果。

有兴趣看看人们怎么说...