包含交互项时如何对模型系数进行置换检验?

机器算法验证 回归 假设检验 相互作用 回归系数 置换检验
2022-04-11 09:12:04

以以下模型为例:

Y=β0+βAA+βBB+βABAB+ϵ

在替代表示法中:

YA+B+A:B

主要问题:

置换变量条目时A测试其系数(βA) 在模型中,是否应该包含一个交互项,例如BA也被重新计算?

次要问题:

以及如何测试BA交互项系数 (βAB)? 无论变量如何计算其排列AB?

一点上下文:

我想对模型的系数进行测试(这是典型的相关分析,但该问题适用于包括交互在内的任何线性模型)。

我正在尝试进行置换测试。虽然测试典型相关本身相当简单,但在包含交互项时,如何对变量分数或系数做同样的事情对我来说有点不清楚。

我已经阅读了如何使用非参数测试(例如排列测试)来测试交互效果?,但我的问题更实际。

1个回答

由于我刚刚开始进行排列测试,因此我认为一个问题是个好主意。事实上,感谢@Glen_b@user43849的评论,我从我的角度察觉到了许多对理论的误解和不一致。一方面,我正在考虑测试系数的大小而不是效果,这才是真正的兴趣所在。

因此,正如我所了解的那样,要批评的实际答案听起来同样好。


为了回答这个问题并指定一个符合我要求的置换策略,我求助于Anderson MJ,Legendre P。“置换方法的经验比较,用于在线性模型中检验偏回归系数”。统计计算与模拟杂志 62.3 (1999): 271-303

在那里,除了常规理论外,作者还对四种置换策略进行了实证比较t-统计测试:

  1. 原始数据的排列 (Manly, 1991, 1997)
  2. 简化模型下的残差排列 (Freedman & Lane, 1983)
  3. 简化模型下的残差排列 (Kennedy, 1995)
  4. 完整模型下的残差排列 (ter Braak, 1990, 1992)

这里我将引用曼利提出的策略的描述。给定一个模型Y=μ+β12X+β21Z+ϵ

  1. 变量 Y 在 X 和 Z 上一起回归(使用最小二乘法)以获得估计值b21β21 和通常的值t-统计,tref用于检测 β21=0对于真实数据。我们以下称其为参考值t
  2. Y值被随机置换以获得置换值Y*。
  3. Y* 值在 X 和 Z(未置换)上一起回归以获得估计值b21β21和一个价值t对于置换数据。
  4. 步骤 2-3 重复很多次,产生的值分布t排列下。
  5. 参考值的绝对值tref被置于绝对值的分布中t在置换下获得(对于双尾t-测试)。概率计算为该分布中大于或等于绝对值的值与绝对值的比例tref(希望,1968)

因此,该策略保留了自变量 X 和 Z 的协方差。其他方法侧重于孤立地测试部分系数,这些将在文中讨论。此外,在文本和文献中都给出了原始数据排列策略的可能缺点。