在不使用信号检测理论派生的指标的情况下分析信号检测数据是否有效?

机器算法验证 诊断 信号检测
2022-03-10 22:56:19

信号检测实验通常向观察者(或诊断系统)呈现信号或非信号,并要求观察者报告他们认为呈现的项目是信号还是非信号。此类实验产生填充 2x2 矩阵的数据: 替代文字

信号检测理论将此类数据表示为表示“信号/非信号”决策基于信号连续体的场景,在该连续体上,信号试验通常比非信号试验具有更高的值,并且观察者只是简单地选择他们将报告“信号”的标准值:

替代文字

在上图中,绿色和红色分布分别代表“信号”和“非信号”分布,灰线代表给定观察者选择的标准。灰线右侧,绿色曲线下方区域代表命中,红色曲线下方区域代表误报;在灰线的左侧,绿色曲线下方的区域代表未命中,红色曲线下方的区域代表正确拒绝。

可以想象,根据这个模型,落入上述 2x2 表格每个单元格的响应比例由以下因素决定:

  1. 从绿色和红色分布中采样的试验的相对比例(基本率)
  2. 观察者选择的标准
  3. 分布之间的分离
  4. 每个分布的方差
  5. 任何偏离分布之间方差相等的情况(上面描述了方差相等)
  6. 每个分布的形状(以上都是高斯分布)

通常,#5 和#6 的影响只能通过让观察者在许多不同的标准级别上做出决定来评估,所以我们现在将忽略它。此外,#3 和#4 仅相对于彼此有意义(例如,相对于分布的可变性的分离有多大?),通过“可辨别性”(也称为 d')的度量来概括。因此,信号检测理论禁止从信号检测数据中估计两个属性:标准和可辨别性。

但是,我经常注意到研究报告(尤其是来自医学领域的)没有应用信号检测框架,而是尝试分析诸如“阳性预测值”、“阴性预测值”、“敏感性”和“特异性”等数量。 ",所有这些都代表与上面的 2x2 表不同的边际值(详见此处)。

这些边际属性提供了什么效用?我倾向于完全忽略它们,因为它们混淆了标准和可辨别性的理论独立影响,但可能我只是缺乏考虑它们的好处的想象力。

3个回答

积极预测影响 (PPV) 不是一个好的衡量标准,不仅因为它混淆了两种机制(可辨别性和响应偏差),还因为项目基准率。最好使用后验概率,例如 P(signal|"yes"),它解释了项目的基本比率:

P(signal|yes)=P(signal)P(Hit)P(signal)P(Hit)+P(noise)P(FalseAlarm)

但是……有什么用??好吧,它对于调整响应标准以最大化/最小化特定结果的概率很有用。因此,它是对敏感性和反应偏差测量的补充,因为它有助于总结反应偏差变化的结果。

一个忠告:如果您坚持使用基本上只允许您获得像 d' 这样的灵敏度度量的 2x2 结果矩阵,那么甚至不要使用 SDT,而只需使用 Hits-False Alarms。两种度量(d' 和 (HF))的相关性均为 0.96(无论 BS 检测理论家可能想出什么)

希望这有助于欢呼

您正在比较“在已知流行率和测试标准的情况下,阳性测试结果正确的概率是多少?” 用“未知系统对这种类型的各种信号的敏感性和偏差是多少?”

在我看来,两者都使用了一些相似的理论,但它们的目的却截然不同。与医学检验标准无关。在许多情况下,它可以设置为已知值。因此,事后确定测试的标准是没有意义的。信号检测理论最适合标准未知的系统。此外,流行度或信号往往是一个固定的(通常非常小的)值。使用 SDT,您通常可以计算出变化信号的均值 d',将非常复杂的情况建模为几个简单的描述符。当标准和信号都是固定的已知量时,SDT 可以告诉您任何有趣的事情吗?处理一个从根本上更简单的问题似乎需要很多数学复杂性。

这可能过于简单化了,但特异性和敏感性是性能的衡量标准,并且在对信号性质没有任何客观知识时使用。我的意思是您的密度与信号性图假设了一个量化信号性的变量。对于非常高维或无限维的数据,并且没有严格的、可证明的信号生成机制理论,变量的选择是非常重要的。那么问题就来了,为什么在选择了这样一个变量之后,它的统计特性,比如信号和非信号的均值和方差没有被量化。在许多情况下,变量可能不仅仅是正态分布、泊松分布或指数分布。它甚至可能是非参数的,在这种情况下,将分离量化为方差的均值差等,没有多大意义。此外,生物医学领域的许多文献都集中在应用上,ROC、特异性敏感性等可以作为客观标准,根​​据问题的有限性质来比较这些方法,基本上就是这样。是必须的。有时人们可能没有兴趣描述,例如患病与对照受试者中基因 1 与基因 2 转录本丰度比的实际离散版本 log-gamma 分布,而唯一重要的是这是否升高以及变异有多大。它解释了疾病的表型或概率。可以用作根据问题的有限性质比较方法的客观标准,基本上这就是所需要的。有时人们可能没有兴趣描述,例如患病与对照受试者中基因 1 与基因 2 转录本丰度比的实际离散版本 log-gamma 分布,而唯一重要的是这是否升高以及变异有多大。它解释了疾病的表型或概率。可以用作根据问题的有限性质比较方法的客观标准,基本上这就是所需要的。有时人们可能没有兴趣描述,例如患病与对照受试者中基因 1 与基因 2 转录本丰度比的实际离散版本 log-gamma 分布,而唯一重要的是这是否升高以及变异有多大。它解释了疾病的表型或概率。