“多重比较”是附加于根据多个测试的结果做出决策的一般问题的名称。著名的XKCD“绿色果冻豆”卡通片阐明了问题的本质，其中调查人员对食用果冻豆（20 种不同颜色）与痤疮之间的关联进行了假设检验。一项测试报告的 p 值小于$1/20$，从而得出“青豆会引起粉刺”的结论。笑话是，根据设计，p 值具有$1/20$机会小于$1/20$，所以直觉上我们会期望看到一个低的 p 值$20$不同的测试。

漫画没有说的是$20$测试基于单独的数据集或一个数据集。

使用单独的数据集，每个$20$结果有一个$1/20$成为“重要”的机会。（独立事件的）概率的基本性质意味着所有的机会$20$结果是“微不足道的”是$(1-0.05)^{20}\approx 0.36$. 剩下的机会$1-0.36 = 0.64$大到足以证实我们的直觉，即在这一大组结果中出现一个“显着”结果也就不足为奇了；没有任何原因可以有效地分配给这样的结果，除了机会的操作。

如果$20$结果基于公共数据集，但是，前面的计算将是错误的：它假设所有$20$结果在统计学上是独立的。但他们为什么不呢？方差分析提供了一个标准示例：当将两个或多个治疗组与对照组进行比较时，每次比较都涉及相同的控制结果。比较不是独立的。现在，例如，由于控制的偶然变化，可能会出现“显着”差异。这种变化可以同时改变与每一组的比较。

（ANOVA 通过其整体 F 检验来处理这个问题。这是一种“统管一切”的比较：除非首先这个 F 检验是显着的，否则我们不会相信组间比较。）

我们可以用以下框架 抽象出这种情况的本质。多重比较涉及根据 p 值做出决定$(p_1, p_2, \ldots, p_n)$的$n$不同的测试。这些 p 值是随机变量。 假设所有相应的零假设在逻辑上是一致的，那么每个假设都应该有一个均匀分布。当我们知道它们的联合分布时，我们可以构造合理的方法来组合所有$n$其中一个决定。否则，我们通常能做的最好的事情就是依赖近似边界（例如，这是 Bonferroni 校正的基础）。

独立随机变量的联合分布很容易计算。因此，文献将这种情况与非独立的情况区分开来。

因此，引文中“独立”的正确含义是在通常的统计意义上的独立随机变量。

请注意，得出这个结论需要一个假设：即，所有$n$的零假设在逻辑上是一致的。作为避免的示例，考虑使用一批单变量数据进行两次测试$(x_1, \ldots, x_m)$假设是来自未知均值的正态分布的随机样本$\mu$. 第一个是 t 检验$\mu=0$, 具有 p 值$p_1$，第二个是 t 检验$\mu=1$, 具有 p 值$p_2$. 由于两者在逻辑上不能同时成立，因此谈论“零分布”将是有问题的$(p_1, p_2)$. 在这种情况下，根本不可能有这样的事情！因此，统计独立性的概念有时甚至不能适用。