ROC曲线生成问题

信息处理 噪音 信噪比 信号检测
2022-02-19 07:30:46

在我涉足检测的过程中,我试图了解如何最好地生成接收器操作特征(ROC) 曲线,并且出现了一些问题。

在我的研究中,我发现 ROC 曲线的生成只是真阳性率 (TPR) 与假阳性率 (FPR) 的关系图。自然希望 TPR 为 1,FPR 为 0。我还了解 ROC 曲线上的每个点(具有一个 TPR 和 FPR 坐标的点)对应于一组检测器“设置”(阈值)。在固定一个设置的情况下,我们会将所有阳性“检测”与所有实际的真阳性和真阴性数量进行比较,从而产生 TPR 和 FPR。我的问题如下:

  • 在我看来,我们必须有一个带标签的数据集才能开始这样做。也就是说,我们必须手动或以其他方式检查我们拥有的所有数据,并将它们标记为“是”或“否”。(我意识到这似乎很明显,但我想确认)。这是真的?

  • 与上述内容有些相关 - 如果为了生成正确捕获检测器性能的真实 ROC 曲线,我们必须有“无”数据,那么在我看来,我们必须有“无”数据来捕获几乎所有可能性存在于宇宙中显然这是不可行的,但是如何真诚地声称检测器确实具有一定的误报率呢?这是最让我困惑的。

  • 探测器具有几乎从不误报但在 y 轴上具有正常外观变化的 ROC 曲线是闻所未闻的吗?换句话说:对于固定的 SNR,检测器在假阳性轴(x 轴)上的方差非常小,但在真阳性轴(y 轴)上的方差更大,这是闻所未闻的吗?

我认为这只是总结了我的问题,谢谢。

编辑编号 1:

我不认为我理解反馈。

理论方面:

我怎样才能对每一种可能性进行统计“建模”,以便我从理论上对其进行表征?例如,假设我有一个检测器可以检测到 10 Hz 信号的存在。输入可以是阳光下的任何东西。也许它的噪音为 10Hz。也许它的 11Hz 并且没有噪音。也许它在线性啁啾或鸟鸣之上的 10.5Hz。也许它的棕色噪音覆盖着人声,覆盖着 60Hz 的电源。一个模型或其中的任何无数组合如何建模?

我不知道我是否可以获得检测器的理论性能,因为很简单,我看不出在任何东西都可以作为您输入的现实场景中这怎么可能!这又回到了第 2 点,由此,一个人怎么可能知道检测器的每一个可能的输入?我可能是错的,所以请告诉我如何。

实用方面:

因此,从这个意义上说,我想我的问题是:我已经有了一个探测器。它接受一个输入向量,并做出一个决定,“是”或“否”。我知道我必须标记我的数据集才能得出真阳性和假阳性率。在这种情况下,在我看来,唯一的可能性是提出一个数据集,该数据集代表了太阳下几乎所有可能的事物,并针对您的探测器进行测试。

我没有得到什么?

1个回答

问题 1) 是的,您必须事先知道正确答案是什么,才能判断接收器的性能。我现在正在一个项目上这样做。我生成数据、加扰、调制、添加噪声和载波偏移等,然后将其提供给接收器。我开始的部分是我的“是/否”标签。

问题 2) 所有这些测量本质上都是统计的。噪声是统计的。抖动是统计的。先验信道条件是统计的。当然 ROC 曲线也是统计的。不然怎么可能?

问题3)我不太明白这个问题。一张照片会有所帮助。

编辑:接收器没有在阳光下的每一组条件下进行测试。首先,设计人员依赖于每个人都遵守 FCC 对给定频段的要求,因此在蜂窝频段中,他们假设不会有任何电视台或雷达啁啾,并且所有其他蜂窝信号都将处于指定的频率和功率水平,具有指定的最大载波偏移。

然后,设计人员对“典型”环境(即通道)进行建模。这意味着由于自由空间路径损耗、天线增益、多路径等造成的某些传输损耗。然后,他们将各种典型和最坏情况的场景放在一起,并在这些条件下进行测试。例如,最坏情况下的干扰情况是相邻信号处于最大允许功率。

如果这些选定条件下的性能符合预期,则设计人员通过“插值”假设它在其他未测试环境中的性能可以接受。当然,条件总是比最坏情况的测试场景更糟糕。那是电话挂断电话的时候。:-)