机器算法验证 - 加权最小二乘的 GLM 类似物 - 吾爱随笔录

简短版本：

我可以使用加权最小二乘法拟合模型，给定权重的对角矩阵，通过求解 for。 $W$ $(X^TWX)\hat{\beta}=X^TWy$ $\hat{\beta}$

~~有 GLM 类似物吗？如果有，那是什么？~~

似乎有一个 GLM 类似物，例如weightsRglm函数中的参数。R如何使用这些权重？

长版：

情况

作为我的 IPTW 问题的后续行动，我只想再次检查我是否了解如何使用逆概率（处理）权重（IPTW）来拟合参数模型。IPTW 的想法是模拟一个数据集，其中我的自变量和因变量之间的关系没有混淆，因此是因果关系。为了论证的缘故，假设我已经为每个观察估计了 IPT 权重。这些权重是来自模拟数据集的假设概率权重。 $(a^1,a^2,a^3)$ $y$ $\hat{w}_i$

问题

我现在想安装 GLM。我只是使用 WLS，但我正在处理二进制结果和截断为零的结果。所以我有一个线性模型，一个链接，以及从我对的可能性得出的方差。那么似然方程为根据分类数据分析，Agresti，2013，第 4.4.5 节。 $\eta_i=a^T\beta$ $\mu_i=g(\eta_i)$ $V(y_i)$ $y$

\sum_{i = 1}^{N} \frac{y_{i} - μ_{i}}{V (y_{i})} \frac{\partial μ_{i}}{\partial β_{j}} = \sum_{i = 1}^{N} \frac{y_{i} - μ_{i}}{V (y_{i})} (\frac{\partial μ_{i}}{\partial η_{i}} x_{i j}) = 0, \forall j

$\sum_{i=1}^N \frac{y_i-\mu_i}{V(y_i)}\frac{\partial\mu_i}{\partial\beta_j}=\sum_{i=1}^N \frac{y_i-\mu_i}{V(y_i)}\left(\frac{\partial\mu_i}{\partial\eta_i}x_{ij}\right)=0,~\forall j$

所以我所要做的就是将乘以权重，对吗？如果我想合并一个过度离散参数，我可能会采用同样的方式？如果是这样，这是因为，比如说，5 个独立观察的方差是一个独立观察的方差的 5 倍吗？ $var(\mu_i)$ $\hat{w}_i$

后续想法：由于可能性是每个观察的可能性的乘积，是否有一些加权程序可以用来对可能性进行加权？