是否存在可用于绝对而不是相对比较的模型拟合统计量(如 AIC 或 BIC)?

机器算法验证 模型选择 aic 比克
2022-03-21 23:50:20

我对这些文献不太熟悉,所以如果这是一个明显的问题,请原谅我。

由于 AIC 和 BIC 依赖于最大化似然性,因此它们似乎只能用于在试图拟合给定数据集的一组模型之间进行相对比较。根据我的理解,在数据集1上计算模型A的AIC,在数据集2上计算模型B的AIC,然后比较两个AIC值并判断是没有意义的(例如)模型 A 更适合数据集 1,而不是模型 B 更适合数据集 2。或者我弄错了,这是合理的做法。请告诉我。

我的问题是:是否存在可用于绝对而不是相对比较的模型拟合统计量?对于线性模型,像这样的东西会起作用;它对什么是“好”价值有明确的范围和学科特定的想法。我正在寻找更一般的东西,并认为我可以从这里 ping 专家开始。我敢肯定,以前有人想过这种事情,但我不太清楚在 Google Scholar 上进行有效搜索的正确术语。R2

任何帮助,将不胜感激。

2个回答

根据 Macro 的建议,我认为您正在寻找的术语是一种性能衡量标准。虽然它不是评估预测能力的安全方法,但它是比较各种模型的拟合质量的非常有用的方法。

一个示例度量是平均百分比误差,但可以很容易地找到更多。

假设你用 SetA 和 modelA 来描述一条道路的洞数,你用 SetB 和 modelB 来描述一个国家的人数,那么当然你不能说一个模型比另一个模型好,但是你可以至少看看哪个模型提供了更准确的描述。

我认为,有一些新论文正在探索您正在寻找的内容;Nakagawa 和 Schielzeth (2013)提出了一个混合效应模型的 R² 统计量,称为“R2 GLMM”,用于定义模型中无法解释的方差量。

条件 R²GLMM 被解释为由固定和随机因素解释的方差;

边际 R²GLMM 表示由固定因子解释的方差。

2014 年,Johnson更新了方程以考虑随机斜率模型。

令人高兴的是,您可以使用 R 中的“MuMIn”包轻松计算边际和条件 R²GLMM(Barton,2015)。