当我发现 GLM 时,我也想知道为什么它总是基于指数族。我从来没有清楚地回答过这个问题。但...
我称为链接函数的倒数。参数。hβ
当我第一次了解广义线性模型时,我认为因变量遵循指数族的某种分布的假设是为了简化计算。
是的。我将它与随机梯度下降 (SGD) 一起使用,并且 SGD(梯度)的更新规则在规范 GLM 案例中变得特别简单。请参阅http://proceedings.mlr.press/v32/toulis14.pdf道具 3.1 和第 3.1 段。最后,这一切都以类似于最小二乘的方式工作(最小化平均值),但更简单。更新规则的解释非常简单。对于一些样本:(Y−h(βX))2(x,y)
- 计算您期望的平均值(即)yh(βx)
- 将其与实际观察到的进行比较,y
- 更正你参数与差异(和)的比例βx
如果没有 exp 系列和规范链接,错误将乘以依赖于(可能还有)的东西。这将是对基本思想的一种改进:改变校正的强度。它赋予样本不同的权重。对于最小二乘,您必须乘以。在有大量数据的情况下,我的一些实际测试表明它不太好(原因我无法解释)。xyh′(βx)
因此,指定链接函数以唯一指定分布就足够了。
是的。
预先存在的逻辑回归和泊松回归也适合规范 GLM 框架。可能是使用 exp 系列 + 规范链接的另一种(历史)解释。
也许,“为什么假设 GLM 中的 exp 系列”类似于“为什么假设线性回归中的正常噪声”。对于理论上的良好特性和简单的计算......但在实践中它总是那么重要吗?在线性回归仍然非常有效的情况下,真实数据很少有正常噪声。
关于 GLM(对我来说)从根本上有用的是与转换线性回归的区别:
- 变换线性回归: E(h−1(Y))=βX
- GLM :E(Y)=h(βX)
这改变了一切:
- 均值的估计(有条件地对的任何函数)是无偏的。h−1(Y)X
- 平均值的估计(有条件地对的任何函数)是无偏的。YX
我对 VGLM 不熟悉,所以无法回答。