用于逻辑回归的 Hosmer-Lemeshow 与 AIC

机器算法验证 回归 物流 hosmer-lemeshow-test
2022-03-19 07:10:13

如果 Hosmer-Lemeshow 表明不适合,但 AIC 是所有模型中最低的....您还应该使用该模型吗?

如果我删除一个变量,Hosmer-Lemeshow 统计量不显着(这意味着不存在严重的不拟合)。但是AIC会增加。

编辑:我认为一般来说,如果不同型号的 AIC 接近(即<2) 对彼此那么他们基本上是相同的。但 AIC 则大不相同。这似乎表明 AIC 最低的那个是我应该使用的那个,即使 Hosmer-Lemeshow 测试表明并非如此。

也可能 HL 测试仅适用于大样本?对于小样本量(我的样本量约为 300),它的功效较低。但是,如果我得到了显着的结果……这意味着即使功率很低,我也会被拒绝。

如果我使用 AICc 与 AIC 会有所不同吗?如何在 SAS 中获得 AICc?我知道多重性可能存在问题。但是我先验地假设变量对结果有影响。

任何意见?

Edit2:我认为我应该使用具有较少变量和较高 AIC 且 HL 不显着的模型。原因是因为其中两个变量相互关联。所以摆脱一个是有道理的。

1个回答

Hosmer-Lemeshow 检验在某种程度上已经过时,因为它需要对预测概率进行任意分箱,并且不具备检测校准不足的出色能力。它也不会完全惩罚模型的极端过度拟合。有更好的方法可用,例如 Hosmer、DW;霍斯默,T。le Cessie, S. & Lemeshow, S. 逻辑回归模型拟合优度检验的比较。医学统计1997,16,965-980他们的新措施在 R 中实施rms包裹。更重要的是,这种评估仅解决整体模型校准(预测和观察之间的一致性),而不是解决缺乏拟合的问题,例如不正确地转换预测变量。就此而言,AIC 也不会,除非您使用 AIC 来比较两个模型,其中一个模型比另一个被测试的模型更灵活。我认为您对预测歧视感兴趣,对此有一个概括的R2测量,辅以c-index(ROC 区域)可能更合适。