我有两个独立算法的精确召回曲线。如果我想计算 F-Measure,我必须使用每条曲线上特定点的精度和召回值。
这个点是如何决定的?例如,在曲线一上,召回率为 0.9,精度为 0.87,另一条曲线的召回率为 0.95,精度为 0.84。
或者,我应该为每个精确召回值绘制 F 度量曲线吗?
我有两个独立算法的精确召回曲线。如果我想计算 F-Measure,我必须使用每条曲线上特定点的精度和召回值。
这个点是如何决定的?例如,在曲线一上,召回率为 0.9,精度为 0.87,另一条曲线的召回率为 0.95,精度为 0.84。
或者,我应该为每个精确召回值绘制 F 度量曲线吗?
Precision-Recall 曲线和 ROC 曲线(无关紧要,它们只是彼此的镜像)用于让您了解二元分类器的质量,因为某些参数的不同值会影响分类器的性能. 现在,F1 是结合了精度和召回率的特定分数,因此您只需要选择具有最高 F 分数的分类器的配置。
对于每对精度和召回率,我将计算 F 分数,然后选择具有最高 F 分数的配置。
现在,棘手的部分是哪个 F 分数。F1 是对精确度和召回率的重视程度相同的分数,但有时召回率比精确度更重要(例如,如果您知道所有患有癌症的人癌症进行了测试)。在这种情况下,您可以使用 F2 测量。
我认为总结所有精度和召回率组合的所有 F 度量是没有意义的。毕竟,我们的想法是从更广泛的模型中选择一个模型,我更愿意选择 F 得分最高的模型,而不是所有 F 得分总和最大的模型。
由于需要使用倒数(谐波平均值),因此很难直接从 Precision-Recall 图中读取 F1(或任何其他加权 F 度量)。
但是,如果您绘制倒数 Precision & Recall,则 F 度量的值形成等压线(具有相等值的直线),其梯度取决于权衡参数。在 F1 的情况下,它们将是平行于对角线的等压线,对应于在正面预测的精度和正面案例的召回方面的相等权重(预测的数量可能不对应于真实的正面数量)。
如果您直接在 Precision-Recall 图上使用等压线,则可以优化算术平均值 - 使用谐波相对于算术的优势是值得商榷的,并且在参考文献中进行了讨论,并且有一些证据表明几何比两者都好。
如果您以对数方式绘制 Precision & Recall,则等压线可用于优化此几何平均值。
请注意,对数和倒数 PR 图未定义在对应于不存在阳性或没有预测的点处。在所有其他点,这些曲线等价于 ROC 曲线,因为如果一个解决方案在一个中排名更好,那么在另一个中排名将更好。
然而,ROC 曲线在比较 TPR(召回)和 FPR(辐射)时略有不同,但等压线同样有用,平行于对角线的曲线对应于正负的权重相等。特别是 Precision 和 Recall 与 True Negatives(正确预测的负数)的数量无关,但这是 Fallout 的互补组成部分 - 事实上,镜像图是通过绘制 TPR 与 TNR 形成的。TPR-FPR的差异也称为Youden J或Informedness,与特定操作点形成的曲线下面积线性相关。
这在我上传的一份报告中进行了详细讨论,我讨论的图表显示在图 3 中,其中显示了一些与面部表情识别相关的真实数据: https ://www.researchgate.net/publication/273761103_What_the_F-measure_doesn %27t_measure
曲线下 ROC 面积的讨论在这里: https ://www.researchgate.net/publication/261155937_The_problem_of_Area_Under_the_Curve?ev=pub_cit