校准曲线的解释

机器算法验证 r 物流 多重回归 回归策略 校准
2022-03-19 16:02:11

我有一个逐步派生的二元逻辑回归模型。我已经使用 R 包中的calibrate(, bw=200, bw=TRUE)函数rms来估计它的未来校准。输出如下所示,它显示了后向降压逻辑模型的自举过拟合校正校准曲线估计。但是,我不确定如何解释它。

在此处输入图像描述

我理解校准是指未来预测的概率是否与观察到的概率一致。预测模型会遇到对新受试者的预测过于极端(即,观察到的结果概率高于低风险受试者的预测而低于高风险受试者的预测)。通过跟踪虚线曲线可以看出这一点,该曲线高于低风险组的理想值(虚线),低于高风险组的理想值。

使用相同的推理,偏差校正曲线似乎更糟,因为它产生了更极端的概率。我的解释正确吗?

1个回答

标记bias-corrected为“过度自信”的曲线:相对于Predicted P(Class=1)<0.5,它的预测太低,而对 的预测Predicted P(Class=1)>0.5太高Actual probability

标记为 的曲线也是如此apparent,除了在极端情况下(大致为:x<=0.28 或 x>=0.9),它实际上似乎自信。 less

我不确定 中的偏差校正方法的细节rms,但我认为结果不一定“更糟”;通过校正,概率估计与理想值平行。换句话说,尽管已知该模型略微过度自信,但我们可以说它对 P(class)=0.2 的总体预测的平均值之间的差异是其对 P(class)=0.4 的总体的平均预测的一半,这不是以前的情况,可能是人们希望的。