如何解释 -2LL、AIC 和 BIC 的负值?

机器算法验证 解释 spss aic 比克
2022-03-30 02:43:15

从统计学上看,SPSS输出的信息标准表中的-2LL、AIC、BIC能否小于零,即负数?在这种情况下,它们应该如何解释?注意:这些负值是在使用 SPSS 软件程序检查两级增长曲线模型以研究三个时间段内的体积增长轨迹时获得的。两步标准化程序后因变量(体积)的直方图如下:

在此处输入图像描述

2个回答

底线是(正如杰里米迈尔斯所说)负对数似然的值并不重要,只有负对数似然之间的差异。但是您可能仍然想知道为什么您会得到负值。

从这里复制我的答案

从技术上讲,概率不能>1,因此对数似然不能>0,因此负对数似然不能为负。AIC/BIC 等由负对数似然加上正“惩罚”项组成(在聚类分析中,人们通常会翻转定义的符号!),所以它们也不能是负数。

然而,有一种常见的情况是我们可以得到我们使用的“负对数似然”函数的负值(在这些情况下,它不完全是负对数似然)。(这些反过来会产生负 AIC(即)。)2log(L)+2k<0

对于连续响应变量,我们写的实际上是一个负对数似然密度函数,而不是一个负对数似然函数。例如,这是一张正常密度的图片,其中 μ=0,σ=0.1。

正态分布在 4 左右达到峰值

可以看到密度超过 1,表示对数密度 >0,表示负对数似然密度为负。只要似然曲线非常窄,就会发生这种情况。(从数学上讲,我们的表达式中应该有一个无穷小的项——我们通常会忽略它,因为它不会影响我们的推理。)dx


另一种常见的情况(但我没有找到一个例子)是我们经常在可能性表达式中删除归一化常数,因为它们很麻烦而且它们不会影响推理。如果我们有一个离散分布(因此可能性实际上是一个概率并且必须 <= 1)并且归一化常数足够小,则删除归一化常数原则上可以给我们一个 >1 的表达式。我还没有找到一个实际发生这种情况的例子,虽然......

是的。

-2 LL 表示 -2 乘以对数似然。

AIC、BIC 等(据我所知)仅根据来自不同模型的其他值进行解释。-100 的 AIC 本身没有任何意义。当使用相同数据的不同模型的 AIC 为 -90 时,这意味着某些东西,因此差异为 10。差异是有趣的事情。