广义线性模型如何泛化一般线性模型?

机器算法验证 回归 广义线性模型 假设
2022-04-06 17:50:48

来自维基百科

通用线性模型(GLM)是一种统计线性模型。可以写成1

Y=XB+U,
在哪里Y是具有一系列多元测量的矩阵,X是一个可能是设计矩阵的矩阵,B是一个包含通常要估计的参数的矩阵,并且U是一个包含错误或噪声的矩阵。通常假设误差服从多元正态分布。

然后它说

如果误差不遵循多元正态分布,则可以使用广义线性模型来放宽关于YU.

我想知道广义线性模型如何放松关于YU在一般的线性模型中?

请注意,我可以理解他们在相反方向上的另一种关系:

一般线性模型可以看作是具有恒等链接的广义线性模型的一种情况。

但我怀疑这会对我的问题有所帮助。

1个回答

考虑一种情况,您的响应变量是一组“成功”和“失败”(也表示为“是”和“否”,10s 等)。如果这是真的,那么您的错误不可能是正态分布的。相反,根据定义,您的错误术语将是Bernoulli 。因此,违反了所暗示的假设之一。另一个这样的假设是同方差性的假设,但这也会被违反,因为方差是均值的函数。所以我们可以看到(OLS)GLM 不适合这种情况。

请注意,对于典型的线性回归模型,您所预测的(即,y^i) 是μi,响应的条件正态分布的平均值在那个确切的点X=xi. 在这种情况下,我们需要的是预测π^i,在那个地方“成功”的概率。因此,我们将我们的响应分布视为伯努利,并且我们正在预测控制该分布行为的参数。然而,这里有一个重要的并发症。具体来说,会有一些值X结合你的估计β将产生的预测值y^i(IE,π^i) 那将是<0或者>1. 但这是不可能的,因为范围π(0, 1). 因此我们需要转换参数π这样它就可以范围(, ),就像 GLiM 的右侧一样。因此,您需要一个链接功能

至此,我们已经规定了一个响应分布(伯努利)和一个链接函数(也许是logit变换)。我们已经有了模型的结构部分: Xβ. 所以现在我们有了模型的所有必需部分。这现在是广义线性模型,因为我们已经“放宽”了关于我们的响应变量和误差的假设。

为了更直接地回答您的具体问题,广义线性模型放宽了关于YU通过设置响应分布(在指数族中)和将相关参数映射到区间的链接函数(, ).

有关此主题的更多信息,它可能会帮助您阅读我对这个问题的回答:Difference between logit and probit models