可以推荐 Burnham-Anderson 关于多模型推理的书吗?

机器算法验证 模型选择 参考 aic
2022-02-28 23:23:40

由于最近 R 的预测包中的默认模型选择统计从 AIC 更改为 AICc,我很好奇后者是否确实适用于前者。在这方面我有一系列问题,这是第一个。

我知道,将 AIC 替换为 AICc 是Burnham 和 Anderson(非统计学家)在 (1) 中所著的著名书籍(如这里总结的)所建议的。年轻的统计学家有时会不加批判地引用这本书,例如,参见Rob Hyndman 对这篇博客文章的评论,但统计学家 Brian Ripley 以完全不同的方式提出了建议:

“Burnham and Anderson (2002) is a book I would recommend people NOT read until 
they have read the primary literature. I see no evidence that the authors have 
actually read Akaike’s papers." [quoted from [AIC MYTHS AND MISUNDERSTANDINGS][4] by
Burnham-Anderson]

里普利在 AIC 和相关理论中所写的内容来看,确实应该认真对待警告。我收藏了很多 Akaike 自己的论文和 Burnham-Anderson 的书。我最终会对这本书的质量有自己的看法,但它也有助于了解统计学家社区,无论老少,对此有何看法。特别是,是否有统计学教授(或其他统计学的好学生)明确推荐这本书作为使用 AIC 进行模型选择的有用知识总结?

参考:

(1) Burnham, KP & Anderson, DR 模型选择和多模型推理:一种实用的信息理论方法 Springer,2002

PS。在回复最近的“答案”时说“Burnham 博士是统计学家博士”,我想补充一下这个澄清。是的,他本人就是一名统计学家、美国国家统计局的研究员,并获得了众多专业奖项,包括美国国家统计局颁发的杰出成就奖章。但谁说他不是?我上面所说的是,作为一对作者,他们不是统计学家,这本书反映了这一事实。

1个回答

OP 似乎正在寻求对高质量统计学家的高质量调查,以帮助评估一本特定的书是否是高质量的,特别是关于 AIC 与 AICc 的辩论。该站点并非特别适合系统调查。相反,我将尝试直接解决根本问题。

AIC 和 AICc 都根据模型拟合(根据可能性)和过拟合(根据参数数量)之间的启发式权衡对模型进行评分。在这种权衡中,AICc 对参数数量的惩罚稍大一些。因此,AICc 始终建议支持复杂度小于或等于最佳 AIC 模型复杂度的模型。从这个意义上说,两者之间的关系非常简单,尽管它们的推导背后存在着极其复杂的论据。

AIC 和 AICc 只是众多候选信息标准中的两个,BIC 和 DIC可能是主要的替代方案。在大多数情况下,BIC 比 AIC 或 AICc 更保守(惩罚大量模型参数)。哪个标准是最好的问题确实是特定于问题的。在需要稳健的样本外预测的情况下,人们可以合理地选择一种极其保守的标准。

FWIW,我发现在对捕获-再捕获模型中的预测误差进行广泛的模拟研究中,AICc 的保守性水平通常优于 AIC。