机器算法验证 - 加权最小二乘权重定义：R lm 函数 vs.W A x = W bWAx=Wb - 吾爱随笔录

机器算法验证 r 回归最小二乘加权回归加权数据

2022-03-16 09:19:36

谁能告诉我为什么我从R加权最小二乘法和矩阵运算的手动解决方案中得到不同的结果？

具体来说，我试图手动解决，其中是权重的对角矩阵，是数据矩阵，是响应向量。 $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

我正在尝试将结果与R lm使用参数的函数进行比较weights。

1个回答

正如您从计算的数学表达式中看到的那样，您正在获得

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

显然你的权重是，而不是。因此，您应该将您的答案与 $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

该协议是完美的（在浮点误差范围内 - 在内部，R使用数值更稳定的算法。）

其它你可能感兴趣的问题