我无法在单个假设检验和何时应用 Bonferroni 校正来申请多个检验之间建立联系。在我看来,您实际上只是任意选择所需的 alpha(显着性)级别的比例因子,以减少周围出现误报的机会。我很难看到这背后的实际统计解释。
究竟什么是多重测试/Bonferroni 校正?我可以将它与导致 p 值的单个 AB 测试一起使用吗?
机器算法验证
假设检验
多重比较
测试
2022-04-13 13:35:25
2个回答
当有多个测试时,任何单个假阳性的机会都会增加。如果有个同时测试,Bonferroni 校正的等效显着性截止值将是。给定同时测试,如果我们使用那么
这大约使我们返回了我们期望的 0.05 误报概率。更正式地说,如果我们有个带有 p 值
在特定显着性水平上运行单个假设检验时,选择的显着性水平是错误地拒绝真零假设的概率。然而,随着更多假设检验的运行,假阳性率会上升。如果您运行假设检验,Bonferroni 校正将显着性水平除以以保持误报的概率相同。
例如,如果我们使用的标准拒绝标准,我们有的机会错误地拒绝真零假设。然而,随着我们运行越来越多的测试,我们越来越有可能纯粹出于偶然地拒绝零假设。如果我们运行 4 个测试,将拒绝阈值设置为可确保我们仍然保持大约的误报概率。但是,对于较大,Bonferroni 校正变得过于保守,并且可以使用其他标准,例如错误发现率 (FDR)。