AIC 标准:定义

机器算法验证 回归 aic
2022-03-13 20:18:01

我有两个关于 AIC 标准的问题:AIC=2k2ln(l)

数字 2 是从哪里来的?由于我们通常将其最小化,为什么我们不只考虑:(也许我错过了一些东西。)kln(l)

第二个问题:我们可以认为 AIC 选择遵循与套索/岭选择相同的“哲学”吗?

事实上,如果我们认为我们将有:00=0

AIC 选择:max[ ] (其中 )ln(l)λ|β|0λ=1

套索选择:max[ ]ln(l)λ|β|1

岭选择:max[ ]ln(l)λ|β|2

2个回答

当然,如果没有因子 2,您会得到相同的答案。Burnham & Anderson 将 Akaike 乘以 -2 称为“历史原因”。我相信他们的意思如下。从历史上看,AIC 是在线性回归的背景下开发的,它假设误差为 iid mean 0。拟合此类模型的经典方法之一是卡方拟合。NLL 恰好等于卡方值的两倍(参见https://en.wikipedia.org/wiki/Akaike_information_criterion#Chi-squared_fits)。我相信这就是 Akaike 将对数似然乘以 -2 以使其等效的原因。另见本文第 4 节。

-2ln(l) 是模型的偏差,比较相同大小(相同数量的变量)的模型很有用。所有似然比检验都是基于模型之间偏差的比较,并且 2 是了解统计量的理论分布(卡方)所必需的

当您将一个变量添加到模型中时,偏差总是会减小,并且 AIC 的 2k 是评估该减量是否很小的惩罚。

然后,AIC 可用于比较不同大小的模型。删除公式中的 2,它是相同的,但从概念上讲,使用 2 你会看到偏差和 AIC 之间的关系。