机器算法验证 - 残差相互回归时的线性回归系数 - 吾爱随笔录

残差相互回归时的线性回归系数

机器算法验证回归残差线性的

2022-04-06 18:35:39

假设我们有两个变量 $X_2$ 和 $X_3$ 并运行两个回归：

X_{2} = a + b X_{3} + v_{2}

$X_2=a+bX_3+v_2$

和

X_{3} = c + d X_{2} + v_{3}

$X_3=c+dX_2+v_3$

$v_2$ 和 $v_3$ 是观察到的残差。

我们能说如果我们倒退吗 $v_3$ 上 $v_2$ , 的系数 $v_2$ 将会 $d$ ? 有没有办法可以显示？

2个回答

作为提示，请考虑 R 中的此模拟：

rm(list=ls())
set.seed(42)

n=1000
x3= rnorm(n)
x2 = 1 + 2 * x3 + rnorm(n)

lm(x2 ~ x3)
Coefficients:
(Intercept)    x3  
  0.9949       2.0098

# let's store the residual v2: 
v2 = lm(x2~x3)$res

# now let's consider the second model:
lm(x3~x2)
Coefficients:
(Intercept)   x2  
-0.4044       0.4014

# and store the residual v3:
v3 = lm(x3~x2)$res

# let's regress v3 on v2:
lm(v3~v2)
Coefficients:
(Intercept)    v2  
 -2.255e-17   -4.014e-01

它们不相等，但它们看起来相关。

编辑：

插入方程 $X_2$ 在第二个模型中并隔离 $v_3$ . 你会看到参数 on $v_2$ 是 $-d$ .

从第一次回归，我们有

X_{3} = - \frac{a}{b} + \frac{1}{b} X_{2} - \frac{v_{2}}{b}

$X_3 = -\frac{a}{b} + \frac{1}{b} X_2 - \frac{v_2}{b}$ 将此与

X_{3} = c + d X_{2} + v_{3}

$X_3 = c + dX_2 + v_3$

并假设两个回归的执行相似，我们有

c = - \frac{a}{b}

$c = -\frac{a}{b}$

d = \frac{1}{b}

$d = \frac{1}{b}$ 和

v_{3} = \frac{- 1}{b} v 2

$v_3 = \frac{-1}{b}v2$

因此我们有

v 3 = - d v 2

$v3 = -d v2$

其它你可能感兴趣的问题

上一篇是否有正式的证据证明自动编码器执行非线性 PCA？下一篇LRT 比较随机效应模型和嵌套逻辑回归模型