Benjamini 和 Hochberg开发了第一个(我认为仍然是最广泛使用的)控制错误发现率 (FDR) 的方法。
我想从一堆 P 值开始,每个值用于不同的比较,然后决定哪些值足够低,可以称为“发现”,将 FDR 控制到指定值(比如 10%)。通常方法的一个假设是,这组比较要么是独立的,要么具有“正依赖性”,但在分析一组 P 值的情况下,我无法弄清楚该短语的确切含义。
Benjamini 和 Hochberg开发了第一个(我认为仍然是最广泛使用的)控制错误发现率 (FDR) 的方法。
我想从一堆 P 值开始,每个值用于不同的比较,然后决定哪些值足够低,可以称为“发现”,将 FDR 控制到指定值(比如 10%)。通常方法的一个假设是,这组比较要么是独立的,要么具有“正依赖性”,但在分析一组 P 值的情况下,我无法弄清楚该短语的确切含义。
从您的问题,特别是您对其他答案的评论来看,在我看来,您主要对这里的“大局”感到困惑:即,“积极依赖”在这种情况下到底指的是什么——而不是什么是 PRDS 条件的技术含义。所以我会谈谈大局。
假设您正在测试个零假设,并假设所有假设都是正确的。值中的每一个都是一个随机变量;一遍又一遍地重复实验会产生不同的值,因此可以讨论 p 值的分布在 null 下)。众所周知,对于任何测试,值分布必须是均匀的;因此,在多重测试的情况下,个边际分布都是均匀的。
如果所有数据和所有个测试彼此独立,则维分布也将是均匀的。这将是真实的,例如在一个经典的“果冻豆”情况下,当一堆独立的东西正在被测试时:
但是,它不必是那样的。原则上,任何一对值都可以正相关或负相关,或者以某种更复杂的方式相关。考虑测试四组之间均值的所有成对差异;这是测试。单独值中的每一个都是均匀分布的。但它们都是正相关的:如果(在给定的尝试中)A 组偶然具有特别低的平均值,那么 A-vs-B 比较可能会产生低值(这将是误报)。但在这种情况下,A-vs-C 以及 A-vs-D 也可能会产生低值。所以-值显然是非独立的,而且它们之间是正相关的。
非正式地,这就是“积极依赖”所指的内容。
这似乎是多次测试中的常见情况。另一个例子是测试几个相互关联的变量的差异。在其中一个中获得显着差异会增加在另一个中获得显着差异的机会。
想出一个值“负相关”的自然例子是很棘手的。@user43849 在上面的评论中指出,对于单面测试来说,这很容易:
想象一下,我正在测试 A = 0 以及 B = 0 是否针对单尾替代方案(A > 0 和 B > 0)。进一步假设 B 依赖于 A。例如,假设我想知道人口中女性是否多于男性,以及人口中的卵巢是否多于睾丸。清楚地知道第一个问题的 p 值会改变我们对第二个问题的 p 值的期望。两个 p 值的变化方向相同,这就是 PRD。但是,如果我改为检验第二个假设,即群体 2 的睾丸多于卵巢,我们对第二个 p 值的预期会随着第一个 p 值的增加而降低。这不是珠三角。
但是到目前为止,我一直无法想出一个带有点空值的自然示例。
现在,保证 Benjamini-Hochberg 过程有效性的“正依赖”的精确数学公式相当棘手。如其他答案所述,主要参考资料是Benjamini & Yekutieli 2001;他们表明 PRDS 属性(“对子集中每个属性的正回归依赖”)需要 Benjamini-Hochberg 程序。它是 PRD(“正回归依赖”)属性的一种宽松形式,这意味着 PRD 意味着 PRDS,因此也包含 Benjamini-Hochberg 过程。
有关 PRD/PRDS 的定义,请参阅@user43849 的回答 (+1) 和 Benjamini & Yekutieli 论文。这些定义是相当技术性的,我对它们没有很好的直观理解。事实上,B&Y 还提到了其他几个相关概念:二阶多元总正性 (MTP2) 和正关联。根据 B&Y 的说法,它们的关系如下(图是我的):
MTP2 隐含 PRD,PRD 隐含保证 BH 过程正确性的 PRDS。PRD 也暗示 PA,但 PA PRDS。
好问题!让我们退后一步,了解 Bonferroni 做了什么,以及为什么 Benjamini 和 Hochberg 有必要开发替代方案。
近年来,执行称为多次测试校正的程序已成为必要和强制。这是由于越来越多的测试与高通量科学同时进行,特别是随着全基因组关联研究 (GWAS) 的出现在遗传学中。请原谅我提到遗传学,因为这是我的工作领域。时同时执行 1,000,000 次测试,我们预计会有次误报。这是可笑的大,因此我们必须控制评估重要性的水平。bonferroni 校正,即接受阈值 (0.05) 除以独立测试的数量校正全族错误率 ( )。
这是正确的,因为 FWER通过等式与测试错误率 ( ) 相关。也就是说,100% 减 1 减去测试错误率,以提高到执行的独立测试次数的幂。假设给出,这是针对 M 完全独立调整的接受 P 值测试。
我们现在遇到的问题,就像 Benjamini 和 Hochberg 一样,是不是所有的测试都是完全独立的。因此,Bonferroni 校正虽然稳健且灵活,但属于过度校正。考虑遗传学中两个基因在称为连锁不平衡的情况下连锁的情况;也就是说,当一个基因发生突变时,另一个基因更有可能被表达。这些显然不是独立测试,尽管在 bonferroni 校正中它们被假定为. 正是在这里,我们开始看到将 P 值除以 M 正在创建一个人为低的阈值,因为假设的独立测试确实相互影响,因此创建一个对于我们的实际情况来说太大的 M不独立。
Benjamini 和 Hochberg 建议并由 Yekutieli(和许多其他人)补充的程序比 Bonferroni 更自由,事实上 Bonferroni 校正现在仅用于最大的研究。这是因为,在 FDR 中,我们假设测试部分存在一些相互依赖关系,因此 M 太大且不切实际,并摆脱了我们实际上关心的结果。因此,在 1000 个不独立的测试的情况下,真正的M 不会是 1000,而是由于依赖关系而变得更小。因此,当我们将 0.05 除以 1000 时,阈值过于严格,并避免了一些可能感兴趣的测试。
我不确定您是否关心控制依赖背后的机制,但如果您关心,我已经链接了 Yekutieli 论文供您参考。我还会附上一些其他的东西供您参考和好奇。
希望这在某种程度上有所帮助,如果我歪曲了任何内容,请告诉我。
~ ~ ~
参考
Yekutieli 关于正依赖的论文——http: //www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf
(见 1.3——问题。)
Bonferroni 和其他有趣的事情的解释——自然遗传学评论。大规模基因研究中的统计功效和显着性检验——Pak C Sham 和 Shaun M Purcell
(见方框 3。)
http://en.wikipedia.org/wiki/Familywise_error_rate
编辑:
在我之前的回答中,我没有直接定义积极依赖,这是被问到的。在 Yekutieli 的论文中,2.2
标题为正依赖的部分,我建议这样做,因为它非常详细。但是,我相信我们可以让它更简洁一点。
该论文首先讨论了积极依赖,将其用作可解释但不具体的模糊术语。如果您阅读证明,被称为正依赖的东西称为 PRSD,之前定义为“对来自子集的每个的正回归依赖”。是正确支持原假设 (0) 的测试子集。PRDS 定义如下。
是我们的整个测试统计数据集,是我们正确支持空值的测试统计数据集。因此,对于成为 PRDS(正相关)于,是的元素(空值)的概率在非递减的测试统计集(的元素)中增加。
解释这一点,当我们将值从最低到最高排序时,成为空测试统计集的一部分的概率在最小 P 值处最低,并从那里增加。FDR 在此测试统计列表上设置了一个边界,使得成为空集一部分的概率为 0.05。这就是我们在控制 FDR 时所做的事情。
总之,正依赖的属性实际上是我们的整个测试统计集对我们的真空测试统计集的正回归依赖的属性,我们控制了 0.05 的 FDR;因此,随着 P 值自下而上(逐步上升过程),它们成为零集一部分的概率增加。
我之前在关于协方差矩阵的评论中的回答并不正确,只是有点模糊。我希望这会有所帮助。
我发现此预印本有助于理解其含义。应该说,我提供这个答案不是作为该主题的专家,而是作为理解的尝试,以得到社区的审查和验证。
感谢 Amoeba 对 PRD 和 PRDS 之间差异的非常有用的观察,请参阅评论
正回归依赖 (PRD) 的含义如下:考虑对应于真零假设的 p 值子集(或等效地,检验统计量)。将这些 p 值的向量称为。令为长度等于长度的向量集,令具有以下性质:
(这意味着是一个“递减集”。)
的某些元素的值有所了解。即。PRD 意味着在中的概率永远不会随着的增加而增加。
用简单的语言,请注意我们可以为任何元素制定期望。由于对应于一个真正的空值,它的无条件期望应该是从 0 到 1 的均匀分布。但是如果 p 值不是独立的,那么我们对的条件期望给定可能不是制服。PRD 意味着提高具有较低值的概率。
Benjamini 和 Yekutieli (2001) 表明,用于控制 FDR 的 Benjamini 和 Hochberg 程序需要一个条件,他们称之为对子集的正回归依赖 (PRDS)。PRDS 与 PRD 类似,并由其隐含。但是,它是一个较弱的条件,因为它一次只针对之一。
用简单的语言重新表述:再次考虑对应于真零假设的一组 p 值。对于这些 p 值中的任何一个(称为),假设我们知道,其中是某个常数。然后我们可以为剩余的 p 值制定一个条件期望,假设。如果 p 值是独立的,那么我们对剩余 p 值的期望是从 0 到 1 的均匀分布。但是如果 p 值不是独立的,那么知道可能会改变我们对剩余 p- 的期望价值观。PRDS 表示增加不能降低我们对与真零假设相对应的任何剩余 p 值的期望。
这是一个非 PRDS 系统的假定示例(下面的 R 代码)。逻辑是,当样本 a 和 b 非常相似时,它们的产品更有可能是非典型的。我怀疑这种影响(而不是用于比较的零值下 p 值的不均匀性(a*b), (c*d)
)正在推动 p 值的负相关,但我不能确定。如果我们对第二个比较(而不是 Wilcoxon)进行 t 检验,则会出现相同的效果,但 p 值的分布仍然不均匀,可能是由于违反了正态性假设。
ab <- rep(NA, 100000) # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)
for(i in 1:100000){
a <- rnorm(10) # Draw 4 samples from identical populations.
b <- rnorm(10)
c <- rnorm(10)
d <- rnorm(10)
ab[i] <- t.test(a,b)$p.value # We perform 2 comparisons and extract p-values
abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}
summary(lm(abcd ~ ab)) # The p-values are negatively correlated
ks.test(ab, punif) # The p-values are uniform for the first test
ks.test(abcd, punif) # but non-uniform for the second test.
hist(abcd)
在他们的论文中,Benjamini 和 Yekutieli 提供了一些例子来说明正回归依赖 (PRD) 与仅仅正相关是如何不同的。FDR 控制程序依赖于一种较弱的 PRD 形式,他们称之为 PRDS(即来自变量子集的每个 PRD)。
正依赖最初是由Lehmann在双变量设置中提出的,但这个概念的多变量版本,称为正回归依赖,与多重测试相关。
这是pg.6的相关摘录
然而,PRDS 和正关联并不意味着彼此,并且差异具有一定的重要性。例如,如果所有相关性都是非负的,则多元正态分布是正相关的。并非所有相关性都必须是非负的才能使 PRDS 属性成立(见第 3.1 节,下面的案例 1)。另一方面,双变量分布可能是正相关的,但不是正回归相关的 [Lehmann (1966)],因此也不是任何子集上的 PRDS。一个更严格的正关联概念, Rosenbaum (1984) 的条件(正)关联,足以暗示 PRDS:是条件关联的,如果对于任何分区的,并且任何函数,给定是正相关的。 重要的是要注意,包括 PRDS 在内的所有上述属性对于在每个坐标中进行共音变换保持不变 [Eaton (1986)]。 Eaton (1986) 清楚地介绍了这些概念的背景,并由 Holland 和 Rosenbaum (1986) 补充。