机器算法验证 - 所有交互项都需要回归模型中的各个项吗？ - 吾爱随笔录

所有交互项都需要回归模型中的各个项吗？

机器算法验证回归造型相互作用 aic

2022-02-06 01:32:47

我实际上正在审阅一份手稿，其中作者将 5-6 logit 回归模型与 AIC 进行了比较。但是，一些模型具有交互项，但不包括单独的协变量项。这样做有意义吗？

例如（不特定于 logit 模型）：

M1: Y = X1 + X2 + X1*X2
M2: Y = X1 + X2
M3: Y = X1 + X1*X2 (missing X2)
M4: Y = X2 + X1*X2 (missing X1)
M5: Y = X1*X2 (missing X1 & X2)

我一直认为，如果你有交互项 X1*X2，你也需要 X1 + X2。因此，模型 1 和 2 会很好，但模型 3-5 会出现问题（即使 AIC 较低）。它是否正确？这是一个规则还是更多的指导方针？有没有人有一个很好的参考来解释这背后的原因？我只是想确保我不会误传评论中的任何重要内容。

4个回答

大多数时候这是一个坏主意——主要原因是它不再使模型对位置变化保持不变。例如，假设您只有一个结果 $y_i$ 和两个预测器 $x_i$ 和 $z_i$ 并指定模型：

y_{i} = β_{0} + β_{1} x_{i} z_{i} + ε

$y_i = \beta_0 + \beta_1 x_{i} z_i + \varepsilon$

如果您要通过他们的方式将预测变量居中， $x_i z_i$ 变成

(x_{i} - \bar{x}) (z_{i} - \bar{z}) = x_{i} z_{i} - x_{i} \bar{z} - z_{i} \bar{x} + \bar{x} \bar{z}

$(x_i - \overline{x})(z_i - \overline{z}) = x_i z_i - x_{i} \overline{z} - z_{i} \overline{x} + \overline{x} \overline{z}$

因此，您可以看到主要影响已被重新引入模型中。

我在这里给出了一个启发式的论点，但这确实提出了一个实际问题。如Faraway(2005)第 114 页所述，当主效应被排除在模型之外时，尺度的加性变化会改变模型推断，而在包含低阶项时不会发生这种情况。通常不希望出现诸如位置偏移之类的任意事情导致统计推断（以及因此您的查询结论）发生根本变化，当您在没有低阶效应的模型中包含多项式项或交互时，可能会发生这种情况。

注意：在某些特殊情况下，您可能只想包含交互，如果 $x_i z_i$ 具有某些特定的实质性含义，或者如果您只观察产品而不是单个变量 $x_i, z_i$ . 但是，在那种情况下，人们不妨考虑预测器 $a_i = x_i z_i$ 并继续模型

y_{i} = α_{0} + α_{1} a_{i} + ε_{i}

$y_i = \alpha_0 + \alpha_1 a_i + \varepsilon_i$

而不是想 $a_i$ 作为交互项。

到目前为止，所有答案似乎都忽略了一个非常基本的观点：您选择的函数形式应该足够灵活，以捕捉与科学相关的特征。模型 2-5 在没有科学依据的情况下对某些项施加零系数。即使在科学上是合理的，模型 1 仍然具有吸引力，因为您不妨测试零系数而不是强加它们。

关键是了解限制的含义。避免使用模型 3-5 的典型警告是因为在大多数应用中，它们强加的假设在科学上是不可信的。模型 3 假设 X2 只影响斜率 dY/dX1 而不是水平。模型 4 假设 X1 只影响斜率 dY/dX2 而不是水平。模型 5 假设 X1 和 X2 都不影响电平，而仅影响 dY/dX1 或 dY/dX2。在大多数应用中，这些假设似乎并不合理。模型 2 也采用了零系数，但仍有一些优点。它为数据提供了最佳的线性近似，在许多情况下满足了科学目标。

+1 给@Macro。让我提出我认为当你有分类预测变量时所关注的类似观点。很大程度上取决于它们的编码方式。例如，参考单元（又名“虚拟”）编码使用 0 和 1，而效果编码使用 -1、0 和 1。考虑一个简单的情况，其中有两个因子，每个因子有两个水平，然后 $x_1x_2$ 根据使用的编码方案，可以是 [0, 0, 0, 1] 或 [1, -1, -1, 1]。我相信有可能出现这样一种情况，即只有一种编码方案的交互是“重要的”，但使用另一种方案的所有术语都是“重要的”。这意味着有意义的解释性决定将基于任意编码决定做出，事实上，您的软件可能在您不知情的情况下为您做出。我认识到这是一个小问题，但这只是另一个原因，即仅保留交互通常不是一个好主意（当然，也不选择基于 p 值的预测变量子集）。

由于您正在审阅一篇论文，您可能会建议作者讨论模型层次结构的问题并证明他们偏离它的合理性。

以下是一些参考资料：

内尔德 JA。响应面模型中项的选择——弱遗传原理有多强？美国统计学家。1998；52:315-8。http://www.jstor.org/pss/2685433。2010 年 6 月 10 日访问。
佩肖托 JL。多项式回归模型中的分层变量选择。美国统计学家。1987；41：311-3。http://www.jstor.org/pss/2684752。2010 年 6 月 10 日访问。
佩肖托 JL。良好制定的多项式回归模型的属性。美国统计学家。1990；44：26-30。http://www.jstor.org/pss/2684952。2010 年 6 月 10 日访问。

我通常遵循等级制度，但在某些情况下会偏离等级制度。例如，如果您在几个不同的速度下测试轮胎磨损与里程，您的模型可能如下所示：

胎纹深度=截距+里程+里程*速度

但是将速度的主要影响包括在内是没有物理意义的，因为轮胎不知道零英里时的速度。

（另一方面，您可能仍想测试速度效果，因为它可能表明“闯入”效果在不同的速度下有所不同。另一方面，处理闯入的更好方法是在零和非常低的里程获取数据，然后测试非线性。请注意，删除截距项可以被认为是违反层次结构的特殊情况。）

我还要重申上面有人所说的，因为它非常重要：作者需要确保他们知道他们的软件是否以数据为中心。如果软件将里程替换为 (mileage - mean of mileage)，则上述轮胎模型在物理上变得毫无意义。

同样的事情与药物稳定性研究相关（在“顺序存储的稳定性模型”中切线提到，Emil M. Friedman 和 Sam C. Shum，AAPS PharmSciTech，第 12 卷，第 1 期，2011 年 3 月，DOI：10.1208 /s12249-010-9558-x)。

其它你可能感兴趣的问题

上一篇Scikit-learn 中的 One-hot 与虚拟编码下一篇如何从 randomForest::getTree() 实际绘制样本树？