AIC 中有意义的差异的“经验法则”背后的逻辑是什么?

机器算法验证 模型选择 aic 经验法则
2022-02-10 15:09:34

我一直在努力寻找有意义的指导方针来比较基于 AIC 差异的模型。我不断回到Burnham & Anderson 2004 年提供的经验法则,第 270-272 页

一些简单的经验法则通常有助于评估集合中模型的相对优点:Δ一世≤ 2 有实质性支持(证据),其中 4 ≤Δ一世≤ 7 的支持要少得多,并且模型具有Δ一世> 10 基本上没有支持。

例如,请参阅以下问题:

我试图理解这些阈值数字 2、4、7 和 10 的合理理由。关于 Akaike 信息标准的维基百科文章就这个问题提供了一些指导:

假设有 R 个候选模型。用 AIC1、AIC2、AIC3、…、AICR 表示这些模型的 AIC 值。令 AICmin 为这些值中的最小值。那么 exp((AICmin - AICi)/2) 可以解释为与第 i 个模型最小化(估计的)信息损失的概率成正比。

例如,假设有三个候选模型,其 AIC 值为 100、102 和 110。那么第二个模型的概率是第一个模型的 exp((100 − 102)/2) = 0.368 倍,以最小化信息丢失。类似地,第三个模型是 exp((100 − 110)/2) = 0.007 倍于第一个模型的概率以最小化信息损失。

因此,根据这些信息,我编制了下表:

Delta AIC 概率

  • delta_aic:所有被比较模型的最小 AIC 减去正在考虑的第i个模型的 AIC。在 Wikipedia 示例中,AIC=100 的模型的 delta_aic 为 0,AIC=102 的模型为 2,AIC=110 的模型的 delta_aic 为 10。
  • prob(min vs. i):模型 i 的概率是最小模型的 x 倍,以最小化信息丢失。在维基百科的例子中,AIC=100 的模型是等概率的,AIC=102 的模型是概率的 0.368 倍,AIC=110 的模型是概率的 0.007 倍。
  • prob(i vs. min):这只是 1/prob(min vs. i)。因此,这意味着最小模型的概率是模型 i 的 x 倍,以最小化信息丢失。在 Wikipedia 示例中,AIC=100 的模型的概率相同,最小模型的概率是 AIC=102 的模型的 2.7 倍,最小模型的概率是 AIC=110 的模型的 148.4 倍。

好的,所以我想我对数学有所了解,但我真的不明白这一切在实际选择一个模型而不是另一个模型方面意味着什么。经验法则说,如果最小模型的概率是另一个模型的 2.7 倍(即Δ一世≤ 2),那么这两个模型实际上是等价的。但是为什么 2.7 倍的概率在最小化信息时如此之少以至于没有任何影响呢?那有什么意思?同样,经验法则说,只有当你到达最小模型的概率是另一个模型的 148.4 倍时(即,Δ一世> 10) 你会说正在考虑的模型不能再以任何有意义的方式被认为是等效的。这不是极其巨大的容忍度吗?

即使以这种方式在数学上分解它,经验法则对我来说仍然没有任何直观意义。所以,这让我想到了我的问题:

  • 有人可以为可接受的 AIC 差异的普遍接受的经验法则解释一个简单的逻辑理由吗?
  • 或者,有人可以提供比这个经验法则更合理的替代理性标准吗?
2个回答

我遇到了同样的问题,并试图在相关文章中搜索答案。Burnham & Anderson 2002 (Model Selection and Multimodel Inference - A Practical Information-Theoretic Approach Second Edition) 这本书实际上使用了三种方法来推导这些经验数字。如本书第 4.5 章所述,一种方法(最容易理解)是让Δp=一种一世Cbes-一种一世C一世n是具有抽样分布的随机变量。他们对这个变量进行了蒙特卡罗模拟研究,以及这个变量的抽样分布Δp具有相当大的稳定性和抽样分布的第 95 个百分位数Δp一般远小于10,实际上一般小于7(在简单的情况下经常接近4),只要观察独立,样本量大,模型嵌套。

Δp>10远远超过 95%,因此极不可能成为 Kullback-Leibler 最佳模型。

此外,他们实际上反对在 Burnham、Anderson 和 Huyvaert 等人 2011 年的论文中使用 2 作为经验法则。他们说Δ在 2-7 范围内有一些支持,应该很少被解雇。

我也许可以为相隔不到 2 个单位的 AIC 的截止提供一些理由。我写了一篇论文,分析了 Quetelet 对 5723 个苏格兰胸围的著名分析,这是所谓的正态分布的首批应用之一。早在拟合优度测试之前,Quetelet 就认为胸部数据是正常的。其他人不同意。法线与 Quetelet 的苏格兰胸部数据拟合的 AIC 为 24629。我使用 Matlab 的伪随机正态生成器生成了 10000 个随机数据,n = 5732,其均值和 sd 与 Quetelet 的数据相同,获得的平均 AIC 为 24630 ± 2 [± 95% 置信区间的一半]。我当然同意 ▵AIC = 2 截止值,但我不知道 4-7 或 >10 截止值的合理性。加拉格尔,ED(2020)。是凯特莱特' s 普通人 普通人?美国统计学家/Taylor & Francis, 74(3), 301-306。https://doi.org/10.1080/00031305.2019.1706635