GLM 中的残差在哪里?

机器算法验证 广义线性模型 残差
2022-03-24 08:08:03

我刚刚在标准模型之后转向 GLM。

在标准模型中,

y = Xb + epsilon

并且 epsilon 被假定为正态分布。这意味着我们可以写

y - Xb = epsilon

然后我们可以在给定正态性假设的情况下使用一些合适的范数来最小化 lhs。

在 GLM 中,这些残差是看不到的,那么残差假设是什么?也就是说,当您拟合 GLM 并确定残差时,您如何检查您的分布假设?QQ图?反对什么?正常的分位数?还是您选择的分布的分位数?

据我所知,GLM:

mu = Xb, mu = Ey, y follows some non-Gaussian distribution.
2个回答

具体残差取决于使用的分布和因变量的特征。有时这些信息不是很丰富,有时也不容易计算。

在评估模型的工作情况时,残差的效用也有很大差异。二元变量的逻辑回归就是一个很好的例子。可以计算所有残差,但是如果没有校准和 Hosmer-Lemeshow 测试等总结,就很难理解它们。其他类型的总结,例如,通过另一个分类变量,也可以是有用的。有时您可以通过比较两个不同模型的估计概率来学习。

  • 对于具有多个类别的序数或名义逻辑回归,您可以计算每个观测值的一组概率。这些可能很有用,但很难用简单的图形方法或汇总统计来解释。

  • 审查生存数据的残差没有唯一定义。估计的生存时间可能比审查时间长或短。

  • 高度偏斜的因变量(例如指数、负二项式、泊松等)的残差在图形显示中可能会产生误导,因为模型不会减少或消除偏斜。它们给您留下许多大异常值的印象。有时最好以转换的比例检查这些,例如原木。

因此,您的问题没有通用答案。残差的使用取决于模型。

对于高斯残差,故事更容易。不幸的是,我们经常发现线性模型存在无法以简单的算法方式解决的问题。

除了@DavidSmith 的回答,一些更正式的术语如下:

广义线性模型调用均值-方差关系作为链接函数的结果。GLM 中没有残差,因为方差只是均值的函数。因此,当我们编写 GLM 时,它的形式为:

g(E[Y|X])=βX

其中是链接函数,项是线性预测变量,转换后的值是拟合值。一般来说,情况是意味着例如,对于逻辑回归,逆 logit 链接具有很容易将第二个表达式识别为二项式方差。gβXνg1(βX)E[Y]=g1(βX)var(Y)=βg1(βX)g1(x)=log(X1X)g1(X)=log(11X)=g1(X)(1g1(X))

当您写出常见概率模型(如二项式、泊松或指数)的估计方程时,您实际上观察到信息(或方差)取决于均值而不是其他任何东西。顾名思义,这些单参数模型仅使用一个参数(如对数赔率或对数相对率)将预期结果与预测变量的线性组合和相应的链接函数相关联。链接的影响函数(梯度或导数)将均值与方差相关联。

高斯概率模型与二项式(逻辑)模型的不同之处在于它们是2 个参数模型,包括离散项(sigma 或残差)。高斯模型也不同于其他 2 参数模型(如负二项式或 Gamma),因为您可以将残差方差写为模型中的单独项。

基本上,具有正常、独立误差的普通最小二乘法是我所知道的唯一可以实际写入的情况:有意义。y=βX+ϵ

您如何将预期结果与观察到的结果联系起来的更大问题是复杂的。在正常模型中,这是预期和观察到的简单差异以获得残差。在 GLM 中,方差是异方差的,因为均值作为的函数而变化,因此您可以通过除以预期标准误差来标准化每个残差以获得 Pearsonized 残差。X