您的问题意味着 AIC 和 BIC 试图回答同一个问题，这是不正确的。AIC 试图选择最充分地描述未知的高维现实的模型。这意味着现实永远不在正在考虑的候选模型集中。相反，BIC 试图在候选集合中找到 TRUE 模型。我觉得很奇怪，假设现实是在研究人员一路上建立的模型之一中实例化的。这对 BIC 来说是一个真正的问题。

尽管如此，还是有很多研究人员说 BIC 比 AIC 更好，他们使用模型恢复模拟作为论据。这些模拟包括从模型 A 和 B 生成数据，然后用这两个模型拟合两个数据集。当错误的模型比生成的模型更好地拟合数据时，就会发生过度拟合。这些模拟的目的是查看 AIC 和 BIC 纠正这些过拟合的程度。通常，结果表明 AIC 过于自由，并且仍然经常更喜欢更复杂、错误的模型，而不是更简单、真实的模型。乍一看，这些模拟似乎是很好的论据，但它们的问题是它们对 AIC 毫无意义。正如我之前所说，AIC 并不认为任何正在测试的候选模型实际上都是真的。根据 AIC，所有模型都是对现实的近似，现实永远不应该是低维的。至少低于一些候选模型。

我的建议是同时使用 AIC 和 BIC。大多数时候，他们会就首选模型达成一致，当他们不同意时，只需报告即可。

如果您对 AIC 和 BIC 都不满意并且有空闲时间进行投资，请查看最小描述长度 (MDL)，这是一种完全不同的方法，可以克服 AIC 和 BIC 的限制。MDL 有几种测量方法，如归一化最大似然或 Fisher 信息近似。MDL 的问题在于其数学要求高和/或计算密集。

尽管如此，如果你想坚持简单的解决方案，评估模型灵活性的一个好方法（特别是当参数数量相等时，使 AIC 和 BIC 无用）是执行参数引导，它很容易实现。这是一篇关于它的论文的链接。

这里有些人提倡使用交叉验证。我个人使用过它并且没有任何反对意见，但它的问题是样本切割规则（留一法、K-折叠等）中的选择是无原则的。

尽管 AIC 和 BIC 都是最大似然估计驱动并惩罚自由参数以对抗过度拟合，但它们这样做的方式会导致明显不同的行为。让我们看一下该方法的一个常见版本（其结果是规定正态分布的误差和其他良好行为假设）：

• AIC = -2*ln（可能性）+ 2*k，

和

• BIC = -2*ln（可能性）+ ln(N)*k，

在哪里：

• k = 模型自由度
• N = 观察次数

在这两种情况下，比较组中最好的模型是最小化这些分数的模型。显然，AIC 并不直接取决于样本量。此外，一般来说，AIC 存在可能过度拟合的危险，而 BIC 存在可能欠拟合的危险，这仅仅是因为它们如何惩罚自由参数（AIC 中的 2*k；BIC 中的 ln(N)*k）。从历史上看，随着数据的引入和分数的重新计算，在相对较低的 N（7 和更少）下，BIC 比 AIC 对自由参数的容忍度更高，但在更高的 N 下容忍度更低（因为 N 的自然对数克服了 2）。

此外，AIC 旨在找到未知数据生成过程的最佳近似模型（通过最小化预期的估计KL 散度）。因此，它未能在概率上收敛到真实模型（假设评估的组中存在一个），而 BIC 确实收敛，因为 N 趋于无穷大。

因此，正如在许多方法学问题中一样，首选取决于您要做什么，还有哪些其他方法可用，以及是否概述了任何特征（收敛性、自由参数的相对容差、最小化预期的 KL 散度)，说出你的目标。

我的快速解释是

• AIC 最适合预测，因为它渐近等效于交叉验证。
• BIC 最适合解释，因为它允许对基础数据生成过程进行一致的估计。

根据我的经验，当目标是最大化预测歧视时，BIC 会导致严重的欠拟合，而 AIC 通常表现良好。