p 值和基准利率谬误

机器算法验证 假设检验 p 值
2022-04-02 10:18:14

本文的第一部分提供了一些关于 p 值的基本利率谬误的直觉。特别是,它以癌症测试为例。

假设我正在测试一百种潜在的抗癌药物。这些药物中只有十种真正有效,但我不知道是哪种;我必须进行实验才能找到它们。在这些实验中,我将寻找与安慰剂相比 p<0.05 的增益,证明该药物具有显着的益处。

然后它计算一百个假设检验并得出结论

因为有效的抗癌药物的基础率很低——我们一百种试验药物中只有 10% 真正有效——大多数试验药物都不起作用,我们有很多假阳性的机会。

整个论点对我来说是有意义的,但我不确定我是否完全理解它与单个假设检验的关系。即基本利率谬误如何在单一假设检验中蔓延?假设我们已经设置了一个假设检验来检查我们收集的特定样本的男性和女性之间的平均身高是否不同。

1个回答

阳性预测值(PPV;一种药物实际起作用的概率,假设我们拒绝了它没有效果的零假设——即我们做出真正拒绝的概率)对实际起作用的抗癌药物的基本比率敏感.

考虑下面的表,其中测试正面或负面对应于拒绝或不拒绝 H,而事实是正面或负面意味着 H分别为假或真。每个象限包含在这些条件下四种可能性的计数:真阳性测试数、真阴性测试数、假阳性测试数和假阴性测试数。边距对行和列求和,行边距之和等于列边距之和等于测试总数。2×200

2乘2表

PPV 是总检测阳性数中的真阳性数。如果您想象表格中每个象限的面积与每个象限中的数字成正比,并且进一步想象表格中心的垂直线代表基本比率(例如患病率),那么表格上面显示了一半的抗癌药物测试如果降低基本比率(垂直线向左移动),您可以看到真阳性相对于假阳性缩小,因此 PPV 变小(即仅仅因为您拒绝了药物的零假设意味着您仍然可能做出了虚假拒绝)。2×20

相比之下,值是观察数据的概率,如果实际上原假设为真。在表中,左列是原假设为真,而(当空为真时您拒绝原假设的意愿)是假阴性总数超过真正阴性的数量(或 1 减去测试的特异性)。pα

因此,如果原假设为真,并且基本比率较低,则值小到足以拒绝,即使它非常小,也意味着您可能会看到误报。p

建议进一步阅读

Altman, DG 和 Bland, JM (1994)。诊断测试2:预测值英国医学杂志,309:102。

Altman, DG 和 Bland, JM (1994)。诊断试验1:敏感性和特异性英国医学杂志,308:1552。

约阿尼迪斯,JPA(2005 年)。为什么大多数已发表的研究结果都是错误的公共科学图书馆医学,2(8):0696–0701。