更好的模型具有更高的残差和 AIC。这怎么可能?

机器算法验证 r 广义线性模型 模型比较
2022-03-25 02:03:43

我正在通过 GLM 在 r 中对索赔严重性建模。我想检查所有预测变量是否都很重要。我对所有预测变量依次使用似然比检验(通过函数 anova())。最后,我得到了简化的模型

> anova(severity,model.severity,test="LRT")

Model 1: claimcst0 ~ gender + area + agecat
Model 2: claimcst0 ~ veh_value + veh_age + veh_body + gender + area + 
agecat
  Resid. Df Resid. Dev Df Deviance Pr(>Chi)  
1      4612     7558.0                       
2      4596     7488.7 16   69.371  0.09736 .

我们可以看到检验的 p 值大于 0.05。我们不拒绝较小的模型。

但有趣的是,较小的模型具有更大的残差和 AIC。

 model A
 Residual deviance: 7558.0  on 4612  degrees of freedom
 AIC: 85079 

 model B
 Residual deviance: 7488.7  on 4596  degrees of freedom
 AIC: 85055

原因是什么?与模型 B 相比,模型 A 仍然是更好的模型吗?

2个回答

您拒绝模型 2 不是因为没有效果,而是因为效果不够显着。

结果是一致的。

请注意,方差分析模型的不显着结果仍然可以承认两个模型之间的不显着差异,例如,小模型和大模型的似然比有利于具有较低 aic 或较高相对似然的大模型(即使当统计学家/实验者选择更喜欢小模型)。

只是 anova 使用了保守(不同)的决策标准(任意低 p<0.05),即

  • 不是决定模型 1 还是模型 2 或相反
  • 而是决定模型 1 和模型 2 之间是否存在显着差异(如果没有显着差异,则保留更简单的模型 1)。

当方差分析结果表明没有大的显着差异时,选择模型 1 而不是模型 2 完全是由于统计学家(主观)使用方差分析而不是由于方差分析本身。

anova模型并不表示你没有模型2>模型1(或模型B>模型A),它只表示观察到的差异(模型2>模型1)不显着(其中显着性的含义非常主观并任意设置在某个 p 值截止水平)。模型 B 观察到的“优势”/“差异”可能是偶然发生的。也就是说:在没有差异的情况下(零假设),那么你偶尔会(9.736% 的时间)得到类似的更高的 aic、残余偏差、似然比或其他什么。

对于较大的模型,残余偏差将始终较小(或至少等于)。类似于添加变量只会增加回归中的 R-Squared。

AIC 仅对模型 B 稍好一点,我敢打赌 BIC 实际上更糟,因为它更严厉地惩罚了其他变量。

不同的模型拟合统计量并不总是一致的。在这里,看起来 3 个中的 2 个会选择较小的模型(假设模型 A 的 BIC 较小)。选择哪种型号的最终选择取决于您。