AIC 可以推荐一个过拟合模型吗?

机器算法验证 模型选择 aic
2022-03-18 18:51:11

我对使用 AIC 进行模型选择有疑问——在这种情况下,它可能不会推荐真正的最佳预测模型(根据我的理解)。我了解 AIC 有 2 个术语 - 拟合优度(可以从我在模型训练数据集上的发现错误中获得)和复杂度术语(模型中参数的 2*no.)。我在下面讨论这个案例:

我有 2 个模型 - 第一个模型是插值每个数据点和过拟合的非参数模型,因此没有。参数 (K) 与样本大小相同(假设为 500)。训练集上的 SSE(拟合优度)非常好,比如 1e-4(因为它过拟合了训练数据集)。其计算的 AIC 值(使用公式 n*ln(SSE/n)+2K)将为 -6712。第二个模型是具有 6 个参数的参数模型(二阶多项式回归模型)。它的拟合优度不如 SSE 为 1e-1 的非参数模型。其计算出的 AIC 为 -4246。

基于 delta(AIC),我们将选择模型 1,但我们知道第一个模型过拟合数据,因此不能很好地概括新数据。

因此,当模型过度拟合数据但复杂性项并没有很好地惩罚它以拒绝它时,我们如何在这种情况下使用 AIC。这种情况是否意味着我们不能使用 AIC 来区分参数模型和非参数模型?

1个回答

AIC 绝对可以选择过拟合模型,因为您例如

  1. 仅评估过拟合模型(因此选择其中之一),或
  2. 你提供了一个过拟合模型与一个不合适的模型(似乎是你的例子)/一个非常过拟合的模型/一个欠拟合的模型,或者
  3. 您通过 AIC 比较多个模型(模型越多,情况越差),通过测试多个模型,您最终会通过模型选择过度拟合。

虽然 AIC 试图平衡训练数据与模型复杂性的拟合,但它本身并没有任何东西可以保证模型选择会产生非过拟合模型(当然,它比您选择模型复杂性更能惩罚模型复杂性)仅适用于训练数据,因此从这个意义上说应该避免过度拟合)。事实上(参见上面的第 3 点),进行模型选择的事实本身就涉及对您选择模型的数据进行过度拟合的可能性,并且已经提出了模型平均(以及各种其他方法)来避免这个问题(参见例如Model Burnham 和 Anderson 的选择和多模型推理)。