广义线性(混合)模型(特别是残差)的诊断

机器算法验证 广义线性模型 残差 负二项分布 计数数据 咕噜咕噜
2022-01-17 00:34:58

我目前正在努力为困难的计数数据(因变量)找到正确的模型。我尝试了各种不同的模型(混合效应模型对于我的数据类型是必需的),例如lmerlme4(使用对数变换)以及具有各种族的广义线性混合效应模型,例如高斯或负二项式。

但是,我不确定如何正确诊断结果拟合。我在网上发现了很多关于这个话题的不同意见。我认为线性(混合)回归的诊断非常简单。您可以继续分析残差(正态性)以及通过绘制与残差相比的拟合值来研究异方差性。

但是,您如何正确地为通用版本做到这一点?现在让我们关注负二项式(混合)回归。我在这里看到了关于残差的完全相反的陈述:

  1. 检查广义线性模型中的正态性残差中,第一个答案指出,对于 GLM,普通残差不是正态分布的;我认为这很清楚。但是,随后指出 Pearson 和偏差残差也不应该是正常的。然而,第二个答案指出偏差残差应该是正态分布的(结合参考)。

  2. 不过, ?glm.diag.plots的文档(来自 R 的boot包)暗示了偏差残差应该是正态分布的。

  3. 这篇博文中,作者首先研究了我假设为 NB 混合效应回归模型的 Pearson 残差的正态性。正如预期的那样(以我的诚实观点),残差并不正常,作者认为这个模型不合适。但是,如评论中所述,残差应根据负二项分布进行分布。在我看来,这最接近事实,因为 GLM 残差可以有其他分布而不是正常分布。它是否正确?如何在这里检查异方差之类的东西?

  4. Ben & Yohai (2004)强调了最后一点(根据估计分布的分位数绘制残差) 目前,这似乎是我要走的路。

简而言之:您如何正确研究广义线性(混合)回归模型的模型拟合,特别关注残差?

2个回答

这个答案不是基于我的知识,而是引用了Bolker 等人的话。(2009 年)在《生态与进化趋势》杂志的一篇有影响力的论文中写道由于这篇文章不是开放获取的(尽管在谷歌学者上搜索它可能会成功,但我认为我引用了可能有助于解决部分问题的重要段落。所以再说一次,这不是我自己想出来的,但我认为它以非常直接且易于理解的写作风格代表了有关 GLMM(包括诊断)的最佳浓缩信息。如果无论如何这个答案不适合任何原因,我会简单地删除它。我发现的东西对有关诊断的问题有用,在粗体

第 127 页:

面对非正态数据的研究人员经常尝试捷径,例如转换数据以实现正态性和方差同质性,使用非参数检验或依靠经典 ANOVA 对非正态性的稳健性进行平衡设计 [15]。他们可能会完全忽略随机效应(从而进行伪复制)或将它们视为固定因素 [16]。然而,这样的捷径可能会失败(例如,具有许多零值的计数数据不能通过转换变得正常)。即使他们成功了,他们也可能违反统计假设(即使是非参数测试也做出假设,例如组间方差的同质性)或限制推理的范围(不能将固定效应的估计外推到新组)。与其将他们的数据硬塞进经典的统计框架中,研究人员应该使用与其数据相匹配的统计方法。广义线性混合模型 (GLMM) 结合了广泛用于生态学和进化的两个统计框架的属性,线性混合模型(包含随机效应)和广义线性模型(通过使用链接函数和指数族处理非正态数据 [例如正态、泊松或二项式]分布)。GLMM 是分析涉及随机效应的非正态数据的最佳工具:原则上,只需指定随机效应的分布、链接函数和结构。线性混合模型(包含随机效应)和广义线性模型(通过使用链接函数和指数族[例如正态、泊松或二项式]分布来处理非正态数据)。GLMM 是分析涉及随机效应的非正态数据的最佳工具:原则上,只需指定随机效应的分布、链接函数和结构。线性混合模型(包含随机效应)和广义线性模型(通过使用链接函数和指数族[例如正态、泊松或二项式]分布来处理非正态数据)。GLMM 是分析涉及随机效应的非正态数据的最佳工具:原则上,只需指定随机效应的分布、链接函数和结构。

第 129 页,方框 1:

残差表明过度分散,因此我们使用准泊松模型重新拟合数据。尽管估计的尺度参数很大(10.8),但探索性图表没有发现个体、基因型或群体水平的异常值的证据。我们使用准AIC(QAIC),对随机效应使用一个自由度[49],用于随机效应,然后用于固定效应模型选择。

第 133 页,方框 4:

在这里,我们概述了构建完整(最复杂)模型的一般框架,这是 GLMM 分析的第一步。在此过程之后,可以评估参数并比较子模型,如正文和图 1 中所述。

  1. 指定固定(处理或协变量)和随机效应(实验、空间或时间块、个体等)。仅包括重要的交互。基于经验法则(每个随机效应> 5-6个随机效应水平和每个治疗水平或实验单元> 10-20个样本)和从从以前的研究[64,65]。

  2. 选择一个误差分布和链接函数(例如计数数据的泊松分布和对数链接,比例数据的二项分布和对数链接)。

  3. 图形检查:数据的差异(由链接函数转换)是否在类别之间是同质的?转换数据的响应是否与连续预测变量呈线性关系?是否存在异常的个人或群体?组内的分布是否与假设的分布相匹配?

  4. 将固定效应 GLM 拟合到完整(合并)数据集和随机因子的每个级别 [28,50]。估计的参数应该在组间近似正态分布(组级参数可能有很大的不确定性,尤其是对于样本量小的组)。根据需要调整模型(例如更改链接函数或添加协变量)。

  5. 安装完整的 GLMM。计算机内存不足或太慢:降低模型复杂度。如果对数据子集的估计成功,请尝试更有效的估计算法(例如 PQL,如果合适的话)。收敛失败(警告或错误):降低模型复杂性或更改优化设置(确保得到的答案有意义)。尝试其他估计算法。零方差分量或奇异性(警告或错误):检查模型是否正确定义和可识别(即理论上可以估计所有分量)。降低模型复杂性。向模型中添加信息(额外的协变量,或随机效应的新分组)可以缓解问题,通过减去它们的平均值来居中连续协变量 [50]。如有必要,从完整模型中消除随机效应,删除 (i) 内在生物学意义较小的项,(ii) 估计方差非常小和/或不确定性很大的项,或 (iii) 交互项。(收敛误差或零方差可能表明数据不足。)

  6. 重新检查最终模型的假设(如步骤 3)并检查参数估计和置信区间是否合理(巨大的置信区间可能表明拟合问题)。标准化残差的大小应该与拟合值无关。评估过度离散(Pearson 残差平方和应为χ2分布式[66,67])。如有必要,更改分布或估计比例参数。检查包含具有小标准偏差的丢弃随机效应的完整模型是否提供与最终模型相似的结果。如果不同的模型导致显着不同的参数估计,请考虑模型平均。

残差图应用于评估过度离散,转换后的方差应在各个类别之间保持均匀。文章中没有提到残差应该是正态分布的。

我认为存在对比陈述的原因反映了 GLMM(第 127-128 页)......

...即使对于统计学家来说,使用起来也具有惊人的挑战性。尽管有几个软件包可以处理 GLMM(表 1),但很少有生态学家和进化生物学家意识到选项的范围或可能的陷阱。在回顾 Google Scholar 发现的 2005 年以来的生态学和进化论文时,537 次 GLMM 分析中有 311 次(58%)以某种方式不恰当地使用了这些工具(参见在线补充材料)。

这里有一些使用 GLMM 的完整示例,包括诊断

我意识到这个答案更像是评论,应该这样对待。但是评论部分不允许我添加这么长的评论。此外,由于我相信这篇论文对这次讨论很有价值(但不幸的是在付费墙后面),我认为在这里引用重要段落会很有用。

引用论文:

[15] - GP Quinn, MJ Keough (2002):生物学家的实验设计和数据分析,剑桥大学出版社。

[16] - MJ Crawley (2002):统计计算:使用 S-PLUS 进行数据分析的介绍,John Wiley & Sons。

[28] - JC Pinheiro,DM Bates (2000):S 和 S-PLUS 中的混​​合效果模型,Springer。

[49] - F. Vaida, S. Blanchard (2005):混合效应模型的条件 Akaike 信息。Biometrika,92,第 351-370 页。

[50] - A. Gelman, J. Hill (2006):使用回归和多级/分层模型进行数据分析,剑桥大学出版社。

[64] - NJ Gotelli, AM Ellison (2004):生态统计入门,Sinauer Associates。

[65] - FJ Harrell (2001):回归建模策略,Springer。

[66] - JK Lindsey (1997):应用广义线性模型,施普林格。

[67] - W. Venables, BD Ripley (2002): 现代应用统计与 S, Springer。

这是一个老问题,但我认为添加 OP 建议的选项 4 现在在 DHARMa R 包中可用(可从 CRAN 获得,请参见此处)。

该软件包使接受的答案建议的视觉残留检查更加可靠/容易。

从包装描述:

DHARMa 包使用基于模拟的方法从拟合的广义线性混合模型中创建易于解释的缩放残差。当前支持来自“lme4”的所有“merMod”类(“lmerMod”、“glmerMod”)、“glm”(包括“MASS”中的“negbin”,但不包括准分布)和“lm”模型类。或者,也可以处理外部创建的模拟,例如来自“JAGS”、“STAN”或“BUGS”等贝叶斯软件的后验预测模拟。得到的残差标准化为 0 到 1 之间的值,可以直观地解释为线性回归的残差。该软件包还为典型的模型错误指定问题提供了许多绘图和测试功能,