计算分数高斯分布的错误接受率

机器算法验证 生物信息学
2022-04-15 18:20:43

我有一个生物识别系统,它输出类似于高斯分布的分数分布(类似于以下链接中的示例图:LINK)。我的困惑是我如何计算错误接受率。阈值如何影响整个问题?

3个回答

只是为了添加其他回复,这里是对术语的简要回顾。

对于任何生物识别或分类系统,主要性能指标是接收者操作特征(ROC) 曲线,它是真实接受率 (TAR=1-FRR,错误拒绝率) 与错误接受率 (FAR) 的关系图,其中被计算为在所有入侵者和冒名顶替者案例中被分类为正面的错误实例的数量曲线越靠近左上角越好(这对应于最大化所谓的曲线下面积或 AUC)。通常,此类曲线是从先前记录的数据库中离线生成的。在生物特征文献中,FAR 有时被定义为“冒名顶替者”为获得匹配而付出的努力为零。在这里,我大致引用了 Boulgouris 等人的Biometrics 。(第 26 章)。

因此,您可以使用标准 ROC 工具(在Rseek上搜索“ROC 分析” )来选择您的截止值,以找到 FAR 和 TAR 之间的最佳折衷(这不一定是使 AUC 最大化的截止值,这取决于您的目标)。

现在,正如其他回应中所强调的那样,FAR 和 TAR 之间的这种妥协导致​​了心理物理学、分类或生物医学科学中的类似解释。这只是一个术语问题,我们经常说Hit rate vs. False Alarm rate;敏感性特异性。

笔记

这里有一些图片来补充其他回答,我希望这些图片可以帮助您与决策理论和统计测试相提并论。

让一个人面临一个二选一的实验。根据他的内部标准的位置,他的响应可能导致命中或错误警报(响应 > 标准),或者正确拒绝或未命中(响应 < 标准)。相应的概率响应曲线类似于您的情况。

替代文字

大多数经典的统计学教科书都提供了一个类似于下表的表格,我们在其中描述了错误拒绝零假设的概率(α) 与错误地“接受”空值 (β) 实际上替代方案是正确的。

替代文字

这导致与心理物理阈值模型完全相同的情况: 替代文字

我不确定。我很好奇你得到的其他回复。但是,我认为您需要澄清一下:

您的高斯分布是否代表应该被您的生物识别系统拒绝的人群的分数?

如果是这样,那么我认为您只需要计算一个累积概率 - 即应该被拒绝但随机机会超过您的阈值并被您的生物识别设备“错误地接受”的个人的百分比。

因此,它可能就像计算随机超出阈值的人数除以“应该被拒绝”的总人数一样简单。

但同样,我不确定我的回答,我认为你需要澄清你的假设是什么,你的门槛是什么,以及你希望如何将个人归类为“错误拒绝”。

听起来以下简化的情况可能会抓住您问题的本质:

有两个个体群体:A = 可接受的个体,U = 不可接受的个体。与每个人相关的是一个“分数”X. 假设在两个总体中的每一个中,分数都具有高斯分布,其中在 A 中,[true] 均值是μ一个在 U 中,它是μü. 我们还可以假设 [尽管不需要] 分布具有相同的 SD =σ. 所有三个 [或四个] 参数大概都是已知的。

认为μ一个>μü, 所以接受一个人是有意义的,如果他们的“分数”X高于某个阈值C, 说。

这条规则有两种可能出错的地方:

  1. 一个X从 U 可以超过C,导致错误接受。

  2. 一个X从 A 可以在下面C,导致错误的拒绝。

概率

errF一个lse一个CC=(ñ(μü,σ2)>C)

errF一个lserej=(ñ(μ一个,σ2)<C)

是与规则相关的两个错误率。你专注于errF一个lse一个CC.

不难看出,作为门槛C改变,一个错误率会降低,另一个会增加。所以C必须选择给出一个可以忍受的两种错误率的值。

一旦你选择C,正如其他人已经指出的那样,可以计算错误率。

用统计学的语言,你正在测试关于μ具有观察分数的个人的人口X来自。一个假设是 H一个μ=μ一个另一个是Hüμ=μü. 在这两个假设之间做出决定的“测试”是上述规则,上面给出的错误率 [有点无益] 称为 I 型和 II 型错误,或 [同样无益,恕我直言] 敏感性和特异性或 [同样]生产者的风险和消费者的风险。这取决于两个假设中的哪一个被指定为“零假设”,这种区别在这种情况下可能并不完全有用。