AIC&BIC号码解读

机器算法验证 解释 aic 比克
2022-01-28 20:57:35

我正在寻找如何解释 AIC(Akaike 信息标准)和 BIC(贝叶斯信息标准)估计的示例。

BIC 之间的负差异是否可以解释为一个模型相对于另一个模型的后验概率?我怎么能把它用语言表达出来?例如,BIC = -2 可能意味着更好的模型优于其他模型的几率约为e2=7.4

任何基本的建议都会受到这个新手的赞赏。

3个回答

AIC先验模型集的模型可以重新调用为,其中模型集的最佳模型将具有我们可以使用值来估计模型集中所有模型 的证据强度 (在给定先验模型集 的情况下,这通常被称为模型随着增加,减少,建议模型iΔi=AICiminAICΔ=0Δiwi

wi=e(0.5Δi)r=1Re(0.5Δi).
iΔiwii不太合理。这些值可以解释为模型是给定先验模型集的最佳模型的概率。与模型的相对似然计算例如,如果,那么我们可以说模型的 8 倍wiiijwi/wjwi=0.8wj=0.1ij

请注意,当模型 1 是最佳模型(最小Burnham 和 Anderson (2002) 将此称为证据比率。该表显示了证据比率相对于最佳模型的变化。w1/w2=e0.5Δ2AIC

Information Loss (Delta)    Evidence Ratio
0                           1.0
2                           2.7
4                           7.4
8                           54.6
10                          148.4
12                          403.4
15                          1808.0

参考

伯纳姆、KP 和安德森博士。2002. 模型选择和多模型推理:一种实用的信息论方法。第二版。斯普林格,纽约,美国。

Anderson, DR 2008。生命科学中基于模型的推理:证据入门。斯普林格,纽约,美国。

我不认为对 AIC 或 BIC 有任何简单的解释。它们都是采用对数似然并对其估计的参数数量施加惩罚的量。Akaike 在 1974 年开始的论文中解释了 AIC 的具体处罚。 Gideon Schwarz 在 1978 年的论文中选择了 BIC,其动机是贝叶斯论证。

您可能使用 BIC 作为贝叶斯因子的近似结果。因此,您不考虑(或多或少)先验分布。当您比较模型时,模型选择阶段的 BIC 很有用。要全面了解 BIC,贝叶斯因子,我强烈建议阅读一篇文章(第 4 节): http: //www.stat.washington.edu/raftery/Research/PDF/socmeth1995.pdf 以补充知识:http://www .stat.washington.edu/raftery/Research/PDF/kass1995.pdf