机器算法验证 - 是 p 值和特异性 1 的总和 - 吾爱随笔录

是 p 值和特异性 1 的总和

机器算法验证假设检验敏感性-特异性

2022-03-29 07:27:33

当我仔细查看 p 值的定义时：

p = P r (X < x | H_{0})

$p = Pr(X<x|H_0)$

其中表示原假设为真，因此条件为负。具有检验统计量意味着拒绝假设，所以我认为它与基于Wiki 混淆表的误报率 (FPR) 的定义相匹配，即 1 - 特异性。 $H_0$ $X<x$

因此，p-value + specificity = 1，将 p-value 控制在某个截止值（即）以下，就等同于将 specificity 控制在 1 -以上。这样的推理正确吗？我感到不确定，因为我没有听到人们经常讨论 p 值和特异性。 $\alpha$ $\alpha$

更新（2018-05-23）：

正如@Elvis 所指出的，我犯了一个概念上的错误。应该是

α + specificity = 1

$\alpha + \textsf{specificity} = 1$

而不是 p 值。请注意，p 值是一个随机变量，而和特异性是常数。 $\alpha$

换句话说，当我们进行零假设检验时，我们将检验的特异性强制为 1 -。通过思想实验，这个想法变得显而易见。 $\alpha$

为了匹配条件零假设成立，您从同一分布中抽取两个样本，然后进行 t 检验。你做N次。如果您设置，那么有 5% 的时间您会得到 p 值 < 0.05，从而拒绝相应的假设。由于在每次测试期间，样本总是从相同的分布中抽取，所以零假设总是正确的，而被拒绝的假设会导致 I 类错误。因此，特异性为 0.95，FPR 为 0.05。 $\alpha=0.05$

在@Tim 提出的另一条注释中，除了说明和特异性之和为一之外，上面还说明了另一个问题，即p 值对 FDR 没有任何帮助。在上述思想实验中，错误发现率 (FDR) 为 1，即被拒绝的假设都是误报/发现，因为与特异性无关，先验概率为 0（始终为空）。这个问题已被广泛讨论。除了@Tim 提到的一些帖子，我推荐 $\alpha$

对错误发现率和 p 值误解的调查，David Colquhoun, R. Soc。开放科学。2014 1 140216; DOI：10.1098/rsos.140216。http://rsos.royalsocietypublishing.org/content/1/3/140216
Ioannidis JPA (2005)为什么大多数已发表的研究结果都是错误的。PLoS Med 2（8）：e124。https://doi.org/10.1371/journal.pmed.0020124
大多数已发表的研究真的是假的吗？Jeffrey T. Leek 和 Leah R. Jager，统计及其应用年度回顾 2017 4:1, 109-122, https://www.annualreviews.org/doi/10.1146/annurev-statistics-060116-054104

第一个非常可读。第二个暴露了这个问题的严重性。第三个试图更乐观一些，但我认为结论仍然是严肃的。此外，我还将 FDR 绘制为不同先验概率 ( ) 下敏感性和特异性的函数。关键的见解是，当先验概率很低时，即使特异性和敏感性（不太重要）很高，FDR 仍然可能非常高。比如先验概率为0.01，特异性为0.95（对应常用的然而，如果 $r$ $\alpha = 0.05$ $\alpha$ 设置为 0.001，您会看到 FDR 急剧下降，如下所示（第一个子图）。一般来说，通常过于慷慨，这会导致可复制性受到很大挫折，甚至会放弃 p 值。 $\alpha = 0.05$

绘制的函数是

F D R = \frac{N (1 - r) (1 - s p e c i f i c i t y)}{N (1 - r) (1 - s p e c i f i c i t y) + N r S e n s i t i v i t y}

$\mathsf{FDR} = \frac{N (1 - r) (1 - \mathsf{specificity})}{N(1 - r)(1 - \mathsf{specificity}) + Nr\mathsf{Sensitivity}}$

此Jupyter notebook中提供了有关绘图的详细信息。

2个回答

、类型 I 错误率和值之间存在一些混淆。在转向具体性之前，我将尝试解释这两个概念。 $\alpha$ $p$

您考虑一个检验统计量的左偏差与原假设（这有点不寻常，通常右偏差与，但没关系）。 $X$ $X$ $H_0$ $H_0$

给定一些，通常，有一些阈值使得测试过程具有类型 I 错误。和之间的关系是。 $\alpha \in (0,1)$ $\alpha = 0.05$ $a$

reject H_{0} if X < a

$\text{reject } H_0 \text{ if } X < a$

α

$\alpha$

a

$a$

α

$\alpha$

P_{H_{0}} (X < a) = α

$P_{H_0}(X < a) = \alpha$

值可以获得等效的测试过程：给定测试统计量的观测值值是拒绝规则现在是“如果 ”。 $p$ $x_{obs}$ $p$

p = P_{H_{0}} (X < x_{o b s}),

$p = P_{H_0}(X < x_{obs}),$

H_{0}

$H_0$

p < α

$p < \alpha$

所以是一些已知值，在您设计测试程序时固定（通常为）。值取决于观察到的数据。因此它是一个随机变量（）。 $\alpha$ $\alpha = 0.05$ $p$ $p$ $P_{H_0}(p < \alpha) = \alpha$

现在什么是特异性？简而言之，当为真时（参见Wikipedia的概率，即所以你有 $H_0$ $H_0$

S p = P_{H_{0}} (X > a) = 1 - α .

$Sp = P_{H_0}(X > a) = 1 - \alpha.$

α + S p = 1.

$\alpha + Sp = 1.$

但是你没有 - 这没有意义，是一个随机变量，是一个常数。 $p + Sp = 1$ $p$ $Sp$

您似乎指的是I 型和 II 型错误，它们是零假设检验的基本概念之一。如果 $H_0$ 是真的，那么我们期望看到 $\alpha$ 误报（错误拒绝）的比例，我们称之为 I 类错误。另一方面，如果 $H_0$ 是假的，我们希望看到 $\beta$ 假阴性（未能拒绝），我们称之为检验的统计能力。

\begin{array}{cc} Not reject & Reject \\ H_{0} is true & True negatives & Type I error \\ H_{0} is false & Type II error & True positives \end{array}

$\begin{array}{cc} & \text{Not reject} & \text{Reject} \\ H_0 \,\text{is true} & \text{True negatives} & \text{Type I error} \\ H_0 \,\text{is false} & \text{Type II error} & \text{True positives} \end{array}$

所以是的， $\alpha$ 控制误报率时 $H_0$ 是真的。然而，正如Steve Luck 在最近的博客文章中所说的那样，

. . . 这是关于当零假设实际上为真时会发生什么的陈述。在实际研究中，我们不知道零假设是否真的为真。如果我们知道这一点，我们就不需要任何统计数据了！在实际研究中，我们有ap值，我们想知道我们应该接受还是拒绝原假设。在这种情况下误报的概率与原假设为真时误报的概率不同。它可以更高。

下面，我发布了他的一个不言自明的数字来说明这一点。

类似的讨论可以在F. Perry Wilson 最近的 Tweet 线程中找到（似乎最近互联网上的每个人都在讨论 $p$ -值）。基本上，如果你不知道 $H_0$ 是真的，或者至少不知道 $H_0$ 是真的，那么 $p$ -value 在解释为概率时变得毫无意义。

其它你可能感兴趣的问题

上一篇为什么梯度下降在优化多项式回归方面如此糟糕？下一篇一个比例的尾 z 检验有什么问题？