机器算法验证 - 迭代重新加权最小二乘 - 权重混淆 - 吾爱随笔录

机器算法验证回归物流二项分布加权回归爱尔兰人

2022-04-14 13:30:23

在执行迭代重加权最小二乘法 (IRLS) 以导出 $\hat{\beta}$ 逻辑回归的估计，我在网上阅读的所有资源都说使用与每个变量的方差成反比的权重 $Y_i$ . 例如，请参见下面的第 4 步（取自此处）：

然而，在我在网上找到的 IRLS 的 R 代码实现中，权重被设置为方差，而不是方差的倒数（例如here或here）。

例如，请参见下图。它设置s = mu * (1 - mu)，这是给定的方差 $Y$ 在逻辑回归中具有伯努利分布。因此，当计算权重矩阵 , 时S，不应该S = diag(1/s)代替S = diag(s)吗？我在这里想念什么？

澄清这一点将非常有帮助。我知道对于加权最小二乘， $w_i = \dfrac{1}{\sigma_i^2}$ 是标准的，那么为什么 IRLS 实现中的权重矩阵不会反转方差？

1个回答

广义线性模型的 IWLS 算法不同于异方差线性模型的算法，因为它考虑了两件事：

似然分数方程看起来像

\frac{d μ}{d β} \frac{1}{V (μ)} (Y - μ) = 0

$\frac{d\mu}{d\beta}\frac{1}{V(\mu)}(Y-\mu)=0$ 因此，正如您所料，方差在分母中。我们可以展开

d μ / d β

${d\mu}/{d\beta}$ ：

\frac{d η}{d β} \frac{d μ}{d η} \frac{1}{V (μ)} (Y - μ) = 0

$\frac{d\eta}{d\beta}\frac{d\mu}{d\eta}\frac{1}{V(\mu)}(Y-\mu)=0$ 和

d η / d β

$d\eta/d\beta$ 只是

X^{T}

$X^T$ ，所以

X^{T} \frac{d μ}{d η} \frac{1}{V (μ)} (Y - μ) = 0

$X^T\frac{d\mu}{d\eta}\frac{1}{V(\mu)}(Y-\mu)=0$

我们要定义一个新的响应变量 $Z$ 和权重变量 $W$ 使得 WLS 方程

X^{T} W (Z - X β) = 0

$X^TW(Z-X\beta)=0$ 匹配似然方程。这是用

请注意，方差仍在分母中。然而，对于每个分布的所谓规范链接函数，碰巧 $d\mu/d\eta=V(\mu)$ 并且工作重量等于 $V(\mu)^2V(\mu)^{-1}=V(\mu)$ . 也就是说，看起来好像已经将方差放在了分子中。

通过查看非规范链接的 IWLS 算法（例如二项式或泊松模型的恒等链接），您可以看到分母中的方差确实存在，其中 $d\mu/d\eta=1$ .

其它你可能感兴趣的问题