我认为这是一个非常好的问题；太多人使用 Benjamini-Hochberg 程序（缩写为 BH；可能是控制 FDR 的最流行的程序）作为黑匣子。事实上，它对统计数据做了一个潜在的假设，并且很好地隐藏在 p 值的定义中！

对于定义明确的 p 值，它认为在原假设下是均匀分布的 (有时甚至可能是，即P随机小于 uniform，但这只会使程序更加保守（因此仍然有效）。因此，通过计算您的 p 值、使用 t 检验或您选择的任何检验，您可以提供有关原假设下分布的信息。$P$$P$$P\sim U[0,1]$$\Pr[P\leq t] \leq t$$P$

但是请注意，我一直在谈论零假设；所以你提到的关于真阳性基本率的知识是不需要的，你只需要假阳性基本率的知识！为什么是这样？

令$R$表示所有被拒绝（肯定）假设的数量，$V$表示误报，则：

$$\text{FDR} = \mathbb E\left[\frac{V}{\max(R,1)}\right] \approx \frac{\mathbb E[V]}{\mathbb E[R]}$$

因此，要估计 FDR，您需要一种估计$\mathbb E[R]$、$\mathbb E[V]$的方法。我们现在将研究拒绝所有 p 值$\leq t$的决策规则。为了在符号中明确这一点，我还将为此类过程的相应数量/随机变量编写$FDR(t),R(t),V(t)$。

由于只是拒绝总数的期望值，因此您可以通过观察到的拒绝数无偏估计它，所以 ，即简单地通过计算有多少 p 值是。$\mathbb E[R(t)]$$\mathbb E[R(t)] \approx R(t)$$\leq t$

那么呢？假设你的是零假设，然后通过你得到的零下 p 值的均匀性（或亚均匀性）：$\mathbb E[V]$$m_0$$m$

$$\mathbb E[V(t)] = \sum_{i \text{ null}} \Pr[P_i \leq t] \leq m_0 t$$

但是我们仍然不知道，但我们知道，所以保守的上限就是。因此，由于我们只需要误报数量的上限，因此我们知道它们的分布就足够了！这正是 BH 程序所做的。$m_0$$m_0 \leq m$$\mathbb E[V(t)] \leq m t$

因此，尽管曾阿荣的评论“BH 程序是一种将 FDR 控制在给定水平 q 上的方法。它不是关于估计 FDR”的评论不是错误的，它也是高度误导的！BH 过程实际上确实估计了每个给定阈值的 FDR 。然后它选择最大的阈值，使得估计的 FDR 低于。的“调整后的 p 值”（直到等渗）处的 FDR 的估计。我认为标准的 BH 算法稍微隐藏了这个事实，但是很容易证明这两种方法的等价性（在多重测试文献中也称为“等价性定理”）。$t$$\alpha$$i$$t=p_i$

最后，确实存在诸如 Storey 程序之类的方法，它甚至可以从数据这可以稍微增加功率。同样原则上您是对的，也可以对替代方案下的分布（您的真实正基率）进行建模以获得更强大的程序；但到目前为止，多重测试研究主要集中在保持对 I 类错误的控制上，而不是最大化功率。一个困难还在于，在许多情况下，您的每个真正的替代方案都将具有不同的替代分布（例如，不同假设的不同功率），而在零值下，所有 p 值都具有相同的分布。这使得真阳性率的建模更加困难。$m_0$

正如@air 所建议的那样，Benjamini-Hochberg (BH) 程序保证了 FDR 控制。它的目的不是估计它。因此，它只需要测试统计量之间的弱依赖假设。[1,2]

旨在估计 FDR [例如 3,4,5] 的方法确实需要对生成过程进行一些假设才能对其进行估计。他们通常假设测试统计数据是独立的。他们还将假设测试统计的零分布。因此，与这种零分布的偏离以及独立性假设可以归因于效应，并且可以估计 FDR。

请注意，这些想法重新出现在半监督新奇检测文献中。[6]。

[1] Benjamini, Y. 和 Y. Hochberg。“控制错误发现率：一种实用且强大的多重测试方法。” 皇家统计学会系列 B 57 (1995): 289–289。

[2] Benjamini, Y. 和 D. Yekutieli。“依赖项下多重测试中错误发现率的控制。” 统计年鉴 29，没有。4 (2001): 1165–88。

[3] Storey，JD“错误发现率的直接方法”。皇家统计学会杂志 B 系列 64，不。3 (2002): 479–98。doi:10.1111/1467-9868.00346。

[4] Efron, B. “微阵列、经验贝叶斯和两组模型”。统计科学 23，没有。1 (2008): 1-22。

[5] 金，家顺，T. Tony Cai。“估计大规模多重比较中的空值和非空效应的比例。” 美国统计协会杂志 102，没有。478（2007 年 6 月 1 日）：495–506。doi:10.1198/016214507000000167。

[6] 克莱森、马克、杰西戴维斯、弗兰克德斯梅特和巴特德摩尔。“仅使用正数据和未标记数据评估二元分类器。” arXiv:1504.06837 [cs, Stat]，2015 年 4 月 26 日。http: //arxiv.org/abs/1504.06837。

当真正的底层模型未知时，我们无法计算 FDR，但可以通过置换检验估计 FDR 值。基本上，置换检验程序只是通过改变结果变量向量及其排列来多次进行假设检验。它也可以根据样本的排列来完成，但不如前一种常见。

本文回顾了FDR 估计的标准置换程序，并提出了一种新的 FDR 估计器。它应该能够解决您的问题。