机器算法验证 - 评估二分预测变量的多重共线性 - 吾爱随笔录

评估二分预测变量的多重共线性

机器算法验证回归二项分布独立多重共线性似然比

2022-04-04 05:47:03

我正在做一个项目，我们观察一项任务的行为（例如响应时间），并将这种行为建模为几个实验操作变量以及几个观察到的变量（参与者性别、参与者智商、对后续事件的响应）的函数-上问卷）。我不担心实验变量之间的多重共线性，因为它们被专门操纵为独立的，但我担心观察到的变量。但是，我不确定如何评估观察到的变量之间的独立性，部分原因是我似乎得到了一些不同的结果，具体取决于我设置评估者的方式，也因为我不太熟悉其中一个或两个变量都是二分法。

例如，这里有两种不同的方法来确定性别是否独立于智商。我不喜欢零假设显着性检验，因此在这两种方法中我都建立了两个模型，一个有关系，一个没有，然后计算和 AIC 校正的对数似然比：

m1 = lm(IQ ~ 1)
m2 = lm(IQ ~ sex)
LLR1 = AIC(m1)-AIC(m2)

m3 = glm(sex~1,family='binomial')
m4 = glm(sex~IQ,family='binomial')
LLR2 = AIC(m3)-AIC(m4)

然而，这些方法产生的答案有些不同。LLR1 约为 7，表明支持关系的有力证据，而 LLR2 约为 0.3，表明支持关系的证据非常弱。

此外，如果我尝试评估性别与另一个二分观测变量“yn”之间的独立性，则生成的 LLR 同样取决于我是否建立了模型来预测来自 yn 的性别，或者预测来自性别的 yn。

关于为什么会出现这些差异以及如何最合理地进行的任何建议？

2个回答

我认为您试图将 P(A|B) 和 P(B|A) 解释为它们应该是同一件事。由于乘积规则，它们没有理由相等：

P (A B) = P (A | B) P (B) = P (B | A) P (A)

$P(AB)=P(A|B)P(B)=P(B|A)P(A)$

除非 $P(B)=P(A)$ 然后 $P(A|B) \neq P(B|A)$ 一般来说。这解释了“yn”情况下的差异。除非您有一个“平衡”表（行总计等于列总计），否则条件概率（行和列）将不相等。

分类变量之间的“逻辑/统计独立性”（但不是因果独立性）的测试可以如下给出：

T = \sum_{i j} O_{i j} l o g (\frac{O_{i j}}{E_{i j}})

$T=\sum_{ij} O_{ij} log\Big(\frac{O_{ij}}{E_{ij}}\Big)$

在哪里 $ij$ 索引表格的单元格（所以在你的例子中， $ij=11,12,21,22$ ）。 $O_{ij}$ 是表中的观测值，并且 $E_{ij}$ 是独立下的“预期”，这只是边际的产物

E_{i j} = O_{∙ ∙} \frac{O_{i ∙}}{O_{∙ ∙}} \frac{O_{∙ j}}{O_{∙ ∙}} = \frac{O_{i ∙} O_{∙ j}}{O_{∙ ∙}}

$E_{ij}=O_{\bullet \bullet}\frac{O_{i \bullet}}{O_{\bullet \bullet}}\frac{O_{\bullet j}}{O_{\bullet \bullet}} =\frac{O_{i \bullet}O_{\bullet j}}{O_{\bullet \bullet}}$

哪里有“ $\bullet$ " 表示你对该指数求和。你可以证明，如果你有一个独立的对数赔率值 $L_{I}$ 那么后验对数赔率是 $L_{I}-T$ . 备择假设是 $E_{ij}=O_{ij}$ （即没有简化，没有独立性），为此 $T=0$ . 因此，T 表示在多项分布类别中数据支持非独立性的“强度”。这个测试的好处是它适用于所有人 $E_{ij}>0$ ，因此您不必担心“稀疏”表。这个测试仍然会给出合理的结果。

对于回归，这告诉您两个性别值之间的平均智商值不同，尽管我不知道 AIC 差异的规模（这是“大”吗？）。

我不确定 AIC 对二项式 GLM 的适用程度。最好分别查看 LM 和 GLM 的 ANOVA 和偏差表。

另外，你有没有绘制数据？总是绘制数据！这将能够告诉你测试没有的事情。当按性别绘制时，智商看起来有什么不同？用智商绘制时，两性看起来有什么不同？

你为什么担心多重共线性？我们在回归中需要这个假设的唯一原因是确保我们得到唯一的估计。多重共线性仅在完美时才对估计有意义——当一个变量是其他变量的精确线性组合时。

如果您的实验操作变量是随机分配的，那么它们与观察到的预测变量以及未观察到的因素的相关性应该（大致）为 0；正是这个假设可以帮助您获得无偏估计。

也就是说，非完美的多重共线性会使您的标准误差更大，但仅限于那些经历多重共线性问题的变量。在您的上下文中，您的实验变量系数的标准误差不应受到影响。

其它你可能感兴趣的问题

上一篇考不考？下一篇在验证性因子分析的拟合不佳统计数据之后该怎么办？