在一组非线性回归模型中比较模型拟合

机器算法验证 aic 非线性回归
2022-04-08 22:15:01

背景: 我正在为一组 60 名参与者建模时间(1 到 30)和 DV 之间的关系。每个参与者都有自己的时间序列。对于每个参与者,我正在检查非线性回归框架内 5 个不同的理论上合理的函数的拟合度。一个函数有一个参数;三个函数有三个参数;一个函数有五个参数。

我想使用决策规则来确定哪个函数提供了最“理论上有意义”的拟合。但是,我不想奖励过度拟合。

过度拟合似乎有两种。一种形式是标准意义,其中一个附加参数可以解释更多的随机方差。第二个意义是存在异常值或其他一些轻微的系统效应,这在理论上没有什么意义。具有更多参数的函数有时似乎能够捕获这些异常并获得奖励。

我最初使用 AIC。而且我还尝试过增加对参数的惩罚。除了使用2k: [AIC=2k+n[ln(2πRSS/n)+1]]; 我也试过6k(我称之为 AICPenalized)。我检查了带有拟合线的散点图以及基于 AIC 和 AICPenalised 的相应建议。AIC 和 AICPenalised 都提供了合理的建议。大约 80% 的时间他们同意。然而,在他们不同意的地方,AICPenalised 似乎提出了更具理论意义的建议。

问题: 给定一组非线性回归函数拟合:

  • 什么是确定非线性回归中最佳拟合函数的好标准?
  • 调整参数数量的惩罚的原则方法是什么?
1个回答

对于每个参与者,计算每个功能表单的交叉验证(留一个)预测误差,并为参与者分配最小的表单。这应该可以控制过度拟合。

该方法忽略了更高级别的问题结构:假设人群具有共享功能形式的群体,因此来自具有特定形式的一个参与者的数据对于估计具有相同形式的另一个参与者的参数可能有用。但这是分析的开始,如果不是结束的话。