在模型中添加二次项而不是线性项是否有意义?

机器算法验证 回归 多项式
2022-02-07 03:14:27

我有一个(混合)模型,其中我的一个预测器应该先验地仅与预测器二次相关(由于实验操作)。因此,我只想将二次项添加到模型中。有两件事阻止我这样做:

  1. 我想我读到了一些人在拟合高阶多项式时应该始终包含低阶多项式。我忘记了我在哪里找到它,在我看过的文献中(例如,Faraway,2002;Fox,2002)我找不到一个好的解释。
  2. 当我同时添加线性项和二次项时,两者都很重要。当我只添加其中一个时,它们并不重要。然而,预测变量和数据的线性关系是不可解释的。

我的问题的上下文特别是使用 的混合模型lme4,但我想得到可以解释为什么它是或者为什么不能包含高阶多项式而不是低阶多项式的答案。

如有必要,我可以提供数据。

4个回答

1. 为什么要包含线性项?

注意到二次关系可以用两种方式编写是很有启发性的:

y=a0+a1x+a2x2=a2(xb)2+c

(其中,相等系数,我们发现)。对应于关系的全局极值(在几何上,它定位抛物线的顶点)。2a2b=a1a2b2+c=a0x=b

如果您不包括线性项,则可能性减少到a1x

y=a0+a2x2=a2(x0)2+c

(现在,显然并且假设模型包含一个常数项)。也就是说,您强制c=a0a0b=0

鉴于此,问题 #1 归结为您是否确定全局极值必须出现在处。如果是,那么您可以放心地省略线性项否则,您必须包含它。x=0a1x

2. 如何理解包含或排除术语时意义的变化?

这在https://stats.stackexchange.com/a/28493的相关线程中进行了详细讨论。

在本例中,的意义表示关系中存在曲率,的意义表示不为零:听起来您需要包括这两项(当然还有常数)。a2a1b

@whuber 在这里给出了一个非常好的答案。我只想补充一点。该问题指出“预测变量和数据的线性关系是不可解释的”。这暗示了一个常见的误解,尽管我通常在另一端听到它('平方[立方等]术语的解释是什么?')。

当我们有一个具有多个不同协变量的模型时,通常可以为每个 beta [术语] 提供自己的解释。例如,如果:

GPA^college=β0+β1GPAhighschool+β2class rank+β3SAT,

(GPA 表示平均绩点;
排名是学生的 GPA 相对于同一高中其他学生的排序;
SAT 表示“学术能力测试”,这是针对上大学的学生的标准全国性测试)

然后我们可以为每个 beta/术语分配单独的解释。例如,如果一个学生的高中 GPA 高 1 分——其他条件相同——我们预计他们的大学 GPA 为β1点更高。

然而,重要的是要注意,并不总是允许以这种方式解释模型。一个明显的情况是,当一些变量之间存在交互时,因为单个项不可能不同并且仍然保持其他所有条件不变 - 必然,交互项也会改变。因此,当存在交互时,我们不解释主效应,而只解释简单效应,这是众所周知的。

幂项的情况直接类似,但不幸的是,似乎并没有被广泛理解。考虑以下模型:

y^=β0+β1x+β2x2
(在这个情况下,x旨在表示原型的连续协变量。)x改变而没有x2也在变化,反之亦然。简而言之,当模型中有多项式项时,基于相同基础协变量的各种项不提供单独的解释。 x2(x,x17等)术语没有任何独立的含义。 一个事实p-幂多项式项在模型中“显着”表明存在p1相关函数中的“弯曲”xy. 不幸但不可避免的是,当存在曲率时,解释变得更加复杂,并且可能不太直观。评估变化y^作为x变化,我们将不得不使用微积分。上述模型的导数为:
dydx=β1+2β2x
这是期望值的瞬时变化率y作为x变化,其他都一样。这不像对顶级模型的解释那么干净;重要的是,瞬时变化率y 取决于水平x从中评估变化此外,变化率y是瞬时速率;也就是说,它本身在从xoldxnew. 这只是曲线关系的本质。

@whuber上面的回答是正确的,指出省略线性项是“通常的”二次模型相当于说,“我绝对确定极值在x=0。”

但是,您还需要检查您正在使用的软件是否有“陷阱”。某些软件可能会在拟合多项式并测试其系数时自动将数据居中,除非您关闭多项式居中。也就是说,它可能适合一个看起来像Y=b0+b2(xx¯)2在哪里x¯是你的平均值xs。这将迫使极值在x=x¯.

您关于线性项和二次项在输入时都很重要的陈述需要一些澄清。例如,SAS 可能会报告该示例的 I 类和/或 III 类测试。类型 I 在放入二次之前测试线性。III 型测试模型中的线性与二次。

Brambor、Clark 和 Golder (2006)(附带一个互联网附录)对如何理解交互模型以及如何避免常见的陷阱有非常清晰的看法,包括为什么你应该(几乎)总是包含低阶术语( “构成项”)在交互模型中。

分析师在指定乘法交互模型时应包括所有构成项,除非在极少数情况下。通过构成项,我们指的是构成交互项的每个元素。[..]

不过,读者应该注意,乘法交互模型可以采用多种形式,并且可能涉及二次项,例如X2或更高阶的交互项,例如XZJ. 无论交互项采用何种形式,都应包括所有构成项。因此,X当交互项为X2X,Z,J,XZ,XJ, 和ZJ当交互项为XZJ.

不这样做可能会导致模型定义不足,从而导致估计有偏差。这可能会导致推理错误。

如果是这种情况并且Z与任一相关XZ(或者X) 几乎在任何社会科学环境中都会出现,然后省略构成项Z将导致有偏见(和不一致)的估计β0,β1, 和β3. 尽管并不总是如此,但这是一个简单的遗漏变量偏差案例(Greene 2003, pp. 148-149)。