相对于比较总数,Benjamini-Hochberg 多重检验校正有多保守?例如,如果我有两个组的 18,000 个特征的列表,我执行 Wilcoxon 检验以获得 p 值。我使用 Benjamini-Hochberg 调整了 p 值,结果几乎没有任何意义。
我知道随着比较次数的增加,Bonferroni 校正可能会非常保守,Benjamini-Hochberg 是否具有相同的属性?
相对于比较总数,Benjamini-Hochberg 多重检验校正有多保守?例如,如果我有两个组的 18,000 个特征的列表,我执行 Wilcoxon 检验以获得 p 值。我使用 Benjamini-Hochberg 调整了 p 值,结果几乎没有任何意义。
我知道随着比较次数的增加,Bonferroni 校正可能会非常保守,Benjamini-Hochberg 是否具有相同的属性?
首先,您需要了解这两个多重测试程序控制的不是同一件事。以您的示例为例,我们有两组具有 18,000 个观察变量,您进行了 18,000 次测试,以识别一组与另一组不同的一些变量。
Bonferroni 校正控制Familywise 错误率,即假设所有 18,000 个变量在两组中具有相同分布的概率,您错误地声称“这里我有一些显着差异”。通常,您认为如果该概率 < 5%,则您的主张是可信的。
Benjamini-Hochberg 校正控制错误发现率,即您声称存在差异的变量中误报的预期比例。例如,如果将 FDR 控制在 5%,则 20 项测试为阳性,“平均而言”,这些测试中只有 1 项为假阳性。
现在,当比较次数增加时……嗯,这取决于为真的边际零假设的数量。但基本上,对于这两个过程,如果你有几个,比如说 5 或 10 个,真正相关的变量,你有更多的机会在 100 个变量中检测到它们,而不是在 1,000,000 个变量中检测到它们。这应该足够直观。没有办法避免这种情况。