用于评估的 AIC wrt 损失函数的最优性

机器算法验证 模型选择 aic 损失函数 模型评估
2022-03-28 18:48:00

在某些条件下,AIC 是一种有效的模型选择标准。我大致理解这一点,好像 AIC 将倾向于选择能够从相同的数据生成过程或总体(在我们选择的所有模型中)产生新数据点的最大预期可能性的模型。如果目标是预测并且预测的评估是可能性,这使得 AIC 成为首选。

然而,我们并不总是通过可能性来评估预测准确性。还有其他评估预测的方法,例如均方误差 (MSE) 或平均绝对误差 (MAE)。问题:

  1. 如果通过这些损失函数(MSE、MAE)评估预测精度,AIC 是否仍然是首选的模型选择方法?
  2. 什么可能是一个很好的反例,最好是在众所周知的损失函数中?即什么损失函数不支持 AIC 作为模型选择标准?
  3. 我们如何表征与 AIC 作为模型选择方法相兼容的用于评估预测准确性的全部损失函数?
2个回答

我认为 1) 的答案应该是“否”,因为通常没有理由期望最小化预期可能性的模型也会最小化 MSE、MAE 等。人们甚至可能会想到似然性是明确定义的,并且 MSE 将随着样本量的增加而发散(例如,没有矩的分布,例如 Cauchy)。

我认为 AIC 仍然是任何损失函数的模型选择的好方法,它是预期似然的单调函数,但这可能是一个微不足道的评论,对你没有多大帮助。

我不得不不同意F. Tusell 的回答,我认为这反映了对 AIC 和其他损失函数评估的混淆。

AIC 评估“建模”密度(我在“建模”周围使用引号,以将其与预测密度区分开来,在预测密度中,我们将使用适当的评分规则进行评估。)像 MAE、MSE 和分位数损失这样的损失函数评估单个数字摘要Kolassa,2020,IJF)这种建模(或预测)密度。

现在,通过Stone (1977),AIC 将通过真实条件密度渐近最小化(前提是它在候选池中;更多内容见下文)。一旦我们有了真实的条件密度,我们就可以从中提取最小化损失函数的函数(MSE 的条件期望,MAE 的中值,分位数损失的分位数)。因此,“选择最小化 AIC 的密度,然后为我们的损失提取适当的功能”的过程将渐近地产生最低损失。

现在,所有这一切当然依赖于许多假设。

  • 正如 F. Tusell 所写,如果条件密度没有期望,那么“提取最小 MSE 泛函”部分将不起作用,因此整个管道发生故障。(但如果真正的 DGP 遵循柯西分布,那么无论如何,MSE 下的最佳点预测是多少?)

  • 如果真正的条件密度不在我们的可能模型候选池中,Stone (1977) 的渐近结果不成立。AIC 仍然会渐近地在池中找到与真实 DGP 的 Kullback-Leibler 距离最小的模型,因此它仍然是一个好的开始——尽管它的预期损失可能比其他模型更差。

    例如,您的数据可能是N(0,2)分布式,但我们的模型池可能只包含所有N(μ,1)分布,因此不满足 Stone (1977) 的关键假设。假设我们对 90% 的分位数预测感兴趣。AIC 将通过以下方式在我们的池中进行优化N(0,1)并报告其分位数q90%(0,1)1.28. 简单优化分位数损失的无分布方法将产生正确的1.81. 当然,我们的池中有一个模型会产生较低的损失,即N(0.54,1)q90%(0.54,1)1.81,但 AIC 不会喜欢那个。

  • 最后,当然,如果拟合和预测之间的函数形式不同,那么所有的赌注都没有了。如果您受到全球大流行的打击,您基于 2019 年数据的 AIC 最优模型对于 2020 年初德国卫生纸需求的(点)预测将不会很有用。

  • 最后 - 最后,渐近线可能还有很长的路要走 - 根据前面的要点,足以让 DGP 确实发生变化。