非嵌套模型选择

机器算法验证 aic 似然比 嵌套模型
2022-01-18 01:10:29

似然比检验和 AIC 都是在两个模型之间进行选择的工具,并且都基于对数似然。

但是,为什么不能使用似然比检验在两个非嵌套模型之间进行选择,而 AIC 可以呢?

2个回答

LR(似然比)检验实际上是检验参数的指定子集等于某些预先指定的值的假设。在模型选择的情况下,通常(但不总是)这意味着一些参数等于零。如果模型是嵌套的,则较大模型中不存在于较小模型中的参数是被测试的参数,其值通过从较小模型中排除而隐式指定。如果模型没有嵌套,则不再对此进行测试,因为两个模型都具有其他模型中没有的参数,因此 LR 检验统计量没有渐近性χ2它(通常)在嵌套情况下所做的分布。

另一方面,AIC 不用于正式测试。它用于对具有不同数量参数的模型进行非正式比较。AIC 表达式中的惩罚项允许进行这种比较。但是在进行模型比较时,没有假设两个非嵌套模型的AIC之间的差异的渐近分布的函数形式,并且两个AIC之间的差异不被视为检验统计量。

我要补充一点,将 AIC 与非嵌套模型一起使用存在一些分歧,因为该理论是针对嵌套模型制定的。因此,我强调“非……正式”和“非……测试统计”。我将它用于非嵌套模型,但不是以一种硬性的方式,更多的是作为模型构建过程的重要但不是唯一的输入。

AIC 作为 Kullback-Leibler 信息损失的估计量的推导没有假设模型是嵌套的。