是R2R2对于 GLMM 对建模者有用但不一定对读者有用?

机器算法验证 混合模式 广义线性模型 方差 咕噜咕噜 lme4-nlme
2022-03-22 23:57:41

简短版本:

1) 是否有任何已发表的对将用于 GLMM 的批评,特别是Nakagawa & Schielzeth (2013)的流行方法 from generalized linear mixed-effects modelsR2R2

2)大多数读者是否会从中受益,或者该统计数据的复杂性是否使它们不是很有用?R2

长版:使用Nakagawa & Schielzeth (2013)的方法 报告已变得非常流行(截至 2017 年春季引用 1774)。他们提出了一种计算与固定效应相关与随机效应无关)和整个模型的 R^2(以随机效应为条件)。R2R2R2R2R2

然而,对于计算的复杂性以及定义它时出现的矛盾,特别是来自 lme4 开发人员 Doug Bates 进行了重要的讨论。(请参阅此处获取粘贴到简历回复中的 Bates 引用,以及此处查看列表服务中的回复。这些问题也在GLMM wiki中进行了审查)。尽管进行了一般性讨论,但我不知道对 Nakagawa & Schielzeth (2013) 有任何特别的批评。R2

一位审阅者要求我报告一些分层模型的边际值。然而,我认为主要是在建模时查看的有用诊断,但对读者的价值有限 - 或者更糟糕的是,甚至可能会产生误导。R2R2特别是我不愿意为我的 GLMM 报告,因为随机效应(R2.M)边缘的固定效应值很小(<0.10),因为我的随机效应水平之间存在大量变化( R2.M 的定义见下文)。从所有其他方面来看,我对模型很满意,我认为不会为读者提供相关信息;数据将被公布,任何人都想自己计算。R2R2

我认为我论文的大多数读者在查看这些数字时会对的主要原因,我担心我的结果会因为这些小而打折。和模型“重要性”的其他度量之间的紧张关系由 Nakagawa & Schielzeth (2013) 简要提及,但没有深入研究;请参阅下面他们论文中的示例;这里在 CV 上描述了一种有点类似的情况,尽管在这种情况下,较低参数不重要)。R2R2R2R2R2

正如我所看到的,固定效应的低边际和整体模型的高条件只是告诉我,在我的模型中代表的时间、个人和地点之间存在很多差异。同样,如果这是一个阻塞实验,低边际和高条件会告诉我阻塞是一个好主意并且完成了它的工作。R2R2R2R2

因此,我的问题是 1) 是否有任何已发表的对 Nakagawa & Schielzeth (2013) 或类似方法的批评,以及 2) 回应审稿人的最原则性方法是什么。

为了回复评论,我看到我的选项如下(不相互排斥):

  1. 添加到论文中,然后根据我的随机效应的方差量解释如何解释它们。R2
  2. 将仅截距模型中的 AIC 添加到论文中作为拟合度量。讨论(至少对编辑)AIC 表明尽管较低,但通过包含固定效应来改进模型。R2
  3. 向编辑/审阅者证明我目前的方法(p 值、CI、效应大小、模型预测与原始数据的图)是足够的,并为他们提供 Bates 和其他人关于 R2 限制的评论的链接。 GLMM,以及的一般问题(即,CV 上)。R2

下面我更精确地为 GLMM 定义 ,并展示了原始 Nakagawa & Schielzeth (2013) 中低边际R2R2

示例:Nakagawa & Schielzeth (2013) 的二项式模型中的R2

边际定义为R2

R2.GLMM.M = (var.f)/(var.f + var.random.effects + var.residual + var.dist)

其中 var.f 是拟合模型的预测方差,var.dist 是特定于不同 GLM 分布的术语。

Conditional (R2.GLMM.C) 定义类似,只是将随机效应的方差加到分母上,得到模型解释的总体方差比例。R2

N&S 分析模拟二项式和泊松数据,以检查栖息地和假设治疗对甲虫生物学的影响;他们报告相对较低的 R2.M 分别为 0.077 和 0.0976(结果转载如下)。然后他们注意到:

“与 R2.GLMM.C 值相比,R2.GLMM.M 值 [由固定效应解释的方差] 相对较小 (8-10%) ...[但是] 重要的是要注意处理和栖息地 [固定]影响具有统计学意义……然而,大部分数据变异性与残差一起存在于随机效应中……请注意,R2.GLMM.M 和 R2.GLMM.C 值之间的差异反映了在“

我同意他们的观点,即研究人员可以获得“对数据集的额外洞察力”,但不确定读者是否会理解该结果的复杂性,即“大部分数据可变性......存在于随机效应中”。

library(lme4); library(rptR); library(piecewiseSEM)
data(BeetlesMale)

#Null model
m0 <- glmer(Colour ~ 1 + (1|Population) + (1|Container), 
            family = "binomial", data = BeetlesMale)
#Full model
mF <- update(m0, . ~ . + Treatment + Habitat)

#R2.GLMM
sem.model.fits(list(m0,mF))[,c(5:8)]

  Marginal Conditional AIC dAIC
1   0.0000       0.223 602 29.2
2   0.0777       0.311 573  0.0
2个回答

发布我的旧评论的编辑版本作为答案:

我支持@Kodiologist 的这条评论“......我认为任何对分析师有用的建模诊断对读者也很有用,以帮助读者确定您是否做出了良好的建模决策”。

因为读者可能不了解统计数据而隐瞒可能有用的信息是一个坏主意。此外,您对这些指标含义的讨论似乎根本不是一个弱点。它也没有真正违反对“拟合优度”的合理解释。所以我认为你的选项#1 是迄今为止最好的选择:将值添加到论文中并解释如何解释它们。您在这里对指标的解释很好,我认为这个版本很适合本文。R2

问题不在于 R² 不是一个有用的统计量,而是它在不同的计算方式下是模棱两可的。

我在我的论文中遇到了同样的问题,我正在用两种解决方法来解决它。有一些方法可以以更有用的方式构建事物,而不会省略数据。

  1. 在散文中明确地说:虽然伪 r 平方和边际 r 平方值与传统的拟合优度值相当,但它们低于读者对传统拟合优度统计的期望。(McFadden 本人表示 0.2 的值是“非常适合”,你可以引用)
  2. 在表中使用原始 <ρ²> 符号表示伪 r2 和 <R²GLMM>,下标为 GLMM,以确保读者不会将其视为正常的拟合优度。

编辑:找到了一篇经过同行评审的论文,符合我的建议。Ennever、Meakins 和 Round (2017) 使用符号 <R²c> 表示 Conditional-r squared。可以简单地不单独使用模棱两可的符号 <R²>,而是在其中添加一些东西以使其明显不是真正的 <R²>。

Ennever, T., Meakins, F., & Round, ER (2017)。Gurindji 中可复制的 lenition 声学测量和可变性的性质停止了。实验室音韵学:实验室音韵学协会杂志,8(1)。