如何测试线性模型中残差的独立性?

机器算法验证 线性模型 残差 假设
2022-03-27 16:11:24

如何测试线性模型中残差的独立性?

我可以绘制什么?我可以在情节中寻找什么?
或者还有其他一些我可以计算的统计数据吗?

3个回答

[我以为我可以找到具有相似答案的近似副本,但是由于某种原因,几次搜索都没有找到合适的东西。我现在会发布一个答案,但我可能仍然会找到一个重复项。]

  1. 请注意,残差实际上并不是独立的。假设是独立的错误项。残差估计误差项,但它们绝对是相关的。

  2. 错误无法独立的方式有很多很多,因此很难对依赖性进行一般测试(有一些非常一般的依赖性测试,但它们需要非常大的样本量才能获得很多;未能找到依赖性以一试,其功散于四风,并无多大安慰)。对于更典型的问题,您确实需要指定您可能要寻找的依赖类型。例如,如果您有一段时间内的观察,您可能会预测到自相关,这很容易通过 acf 图查找。如果您怀疑某种形式的类内相关性,其中模型中没有“类”变量(或者由于模型中没有变量而确实存在任何依赖性),但您有变量或合理的代理,它' 很容易看出残差是否与该变量有关。因此,如果你能阐明问题中可能的依赖来源,那将告诉你很多关于要寻找什么样的东西。

当您想检查残差的依赖性时,您需要它们可以依赖的东西。基本上有2类依赖项

  1. 残差与另一个变量相关
  2. 残差与其他(接近)残差相关(自相关)

对于 1),通常绘制

  • 相对于预测值
  • 反对预测因素

如果需要,您可以通过相关性测试或回归来形式化您发现的任何依赖关系,但通常可以直观地识别问题。

对于 2),可以使用自相关图或空间/时间变异函数。可以使用通常的时间序列/空间分析方法进行形式分析,例如 Durbin-Watson 或 CAR 模型用于时间,或 MORAN's I 用于空间。请注意所有这些方法的注意事项,例如它们通常假设相关结构的同质性,这通常被违反。

当模型中的误差项独立时,残差的依赖性是温和的。因此,在正常假设下测试残差是独立的还是不相关的是通常所做的。