机器算法验证 - AICc 的两个不同公式 - 吾爱随笔录

机器算法验证模型选择 aic

2022-04-06 20:31:22

维基百科关于AIC的页面给出了 AICc 的公式，这是 AIC 的“校正”版本，当样本量相对于所考虑模型中的参数数量较小时，它有助于避免过度拟合。

Wikipedia 的公式与Burnham & Anderson (2002)一致，带有修正项 $2K(K+1)/(n-K-1)$ ，在哪里 $K$ 是参数的数量和 $n$ 是样本量。

然而，在我在 Burnham & Anderson (2002) 之前找到的所有资料中，修正项都表示为 $2(K+1)(K+2)/(n-K-2)$ . 例如，参见Anderson 等。人。（1994 年）。

为什么这两个公式不同？原始推导中是否存在后来被纠正的错误，或者假设集在某个时候发生了变化？我无法找到任何明确提及这两个公式之间差异的内容。

1个回答

我希望我能更好地理解这篇论文，但是如果您查看 Hurvich & Tsai (1989) 等式 3，他们将 AIC 本身定义为：

AIC = n (\log {\hat{σ}}^{2} + 1) + 2 (m + 1)

$\textrm{AIC} = n(\log\hat{\sigma}^2 + 1) + 2\left(m + 1\right)$

其中，天真地暗示 $k = m+1$ 然后 Hurvich & Tsai 和 Anderson 等人在 1999 年之后实际上是一回事

(m + 1 = k) ⟹ \frac{2 (m + 1) (m + 2)}{n - m - 2} \equiv \frac{2 (k) (k + 1)}{n - k - 1}

$(m+1 = k) \implies \frac{2(m+1)(m+2)}{n−m-2} \equiv \frac{2(k)(k+1)}{n−k−1}$

参见（Cavanaugh 1997）（pdf），特别是第 203 页，他在推导中设置 $k = p+1$ ，因为正如@Glen_b 所说， $k$ 包括误差方差和 $p$ 才不是。

参考：Cavanaugh, JE Unifying the derivations for the Akaike and Corrected Akaike 信息标准 Statistics & Probability Letters, 1997, 33, 201-208

其它你可能感兴趣的问题