想象
- 您使用四个数字预测变量(IV1、...、IV4)运行线性回归
- 当仅包含 IV1 作为预测变量时,标准化 beta 为
+.20
- 当您还包括 IV2 到 IV4 时,IV1 的标准化回归系数的符号翻转为
-.25
(即,它变为负数)。
这引发了几个问题:
- 关于术语,你称之为“抑制效应”吗?
- 你会使用什么策略来解释和理解这种影响?
- 您在实践中是否有此类影响的示例,您是如何解释和理解这些影响的?
想象
+.20
-.25
(即,它变为负数)。这引发了几个问题:
正如 JoFrhwld 提到的,多重共线性是常见的嫌疑人。基本上,如果您的变量是正相关的,那么系数将是负相关的,这可能导致其中一个系数出现错误的符号。
一项检查是执行主成分回归或岭回归。这减少了回归空间的维数,处理了多重共线性。您最终会得到有偏差的估计,但 MSE 和修正后的符号可能较低。无论您是否使用这些特定结果,这都是一个很好的诊断检查。如果你仍然得到符号变化,理论上它可能很有趣。
更新
根据约翰克里斯蒂回答中的评论,这可能很有趣。关联反转(大小或方向)是辛普森悖论、洛德悖论和抑制效应的例子。差异本质上与变量的类型有关。理解潜在的现象比从特定的“悖论”或效果的角度思考更有用。从因果的角度来看,下面的论文很好地解释了原因,我将详细引用他们的介绍和结论来激起你的兴趣。
Tu 等人对三个悖论的等价性进行了分析,得出的结论是,当第三个变量受到统计控制时,所有这三个悖论都只是重申了任何两个变量的关联的不足为奇的变化。我称之为不足为奇,因为在条件分析中,幅度的逆转或变化很常见。为了避免任何一种情况,我们必须完全避免条件分析。辛普森和洛德的悖论或压制效应,除了指出显而易见的问题之外,是什么吸引了文献中断断续续的,有时甚至是危言耸听的兴趣?
[...]
总而言之,尽管辛普森悖论和相关悖论揭示了使用统计标准来指导因果分析的危险,但它们既没有解释它们声称要描述的现象,也没有说明如何避免它们的方法。解释和解决方案在于依赖背景知识的因果推理,而不是统计标准。现在是我们停止治疗被误解的体征和症状(“悖论”)并着手处理疾病(“因果关系”)的时候了。我们应该正确地将注意力转移到使用非实验数据进行因果分析的协变量选择的长期问题上。
我相信这样的影响经常是由共线性引起的(见这个问题)。我认为 Gelman 和 Hill 的多层次建模一书中谈到了这一点。问题在于它IV1
与一个或多个其他预测变量相关,当它们都包含在模型中时,它们的估计变得不稳定。
如果系数翻转是由于共线性引起的,那么报告并不是很有趣,因为这不是由于您的预测变量与结果之间的关系,而是由于预测变量之间的关系。
我所看到的解决这个问题的建议是残差。首先,您为 拟合一个模型IV2 ~ IV1
,然后将该模型的残差作为rIV2
。如果您的所有变量都是相关的,那么您应该真正对所有变量进行残差。你可以选择这样做
rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)
现在,将最终模型拟合为
DV ~ IV1 + rIV2 + rIV3 + rIV4
现在, 的系数表示给定与 的相关性rIV2
的独立效应。我听说如果您以不同的顺序进行残差,您将不会得到相同的结果,并且选择残差顺序实际上是您研究中的判断要求。IV2
IV1
参见辛普森悖论。简而言之,当向模型添加交互时,观察到的主要效果可能会逆转。在链接页面上,大多数示例都是分类的,但页面顶部有一个可以连续想象的数字。例如,如果您有一个分类和连续预测器,那么如果添加了分类预测器并且在每个类别中的符号与总体得分不同,则连续预测器可以轻松翻转符号。