比较具有相同数量自由度的混合效应模型

机器算法验证 r 混合模式 模型选择
2022-02-14 01:52:47

我有一个实验,我将在这里尝试抽象。想象一下,我在你面前扔了三块白色的石头,让你判断它们的位置。我记录了石头的各种属性和你的反应。我在许多主题上都这样做。我生成了两个模型。一种是离你最近的石头预测你的反应,另一种是石头的几何中心预测你的反应。因此,在 RI 中使用 lmer 可以编写。

mNear   <- lmer(resp ~ nearest + (1|subject), REML = FALSE)
mCenter <- lmer(resp ~ center  + (1|subject), REML = FALSE)

更新和更改 - 更直接的版本,包含一些有用的评论

我可以试试

anova(mNear, mCenter)

当然,这是不正确的,因为它们不是嵌套的,我无法真正比​​较它们。我期待 anova.mer 抛出一个错误,但它没有。但是我可以在这里尝试的可能嵌套并不自然,并且仍然使我的分析性陈述有所减少。当模型自然嵌套时(例如线性上的二次方),测试只是一种方式。但在这种情况下,发现不对称意味着什么?

例如,我可以制作模型三:

mBoth <- lmer(resp ~ center + nearest + (1|subject), REML = FALSE)

然后我可以方差分析。

anova(mCenter, mBoth)
anova(mNearest, mBoth)

这是公平的,现在我发现中心增加了最接近的效果(第二个命令),但是当最近被添加到中心时,BIC 实际上会上升(校正较低的简约性)。这证实了所怀疑的。

但是,找到这些就足够了吗?当中心和最近的高度相关时,这是否公平?

当不是关于添加和减去解释变量(自由度)时,是否有更好的方法来分析比较模型?

4个回答

按照 ronaf 的建议,Vuong 最近发表了一篇关于非嵌套模型的似然比检验的论文。它基于与 AIC 相似的 KLIC(Kullback-Leibler 信息准则),因为它使 KL 距离最小化。但它为假设设置了概率规范,因此使用 LRT 可以进行更有原则的比较。Clarke 等人提出了更易于理解的 Cox 和 Vuong 测试版本;具体参见图 3,它展示了计算 Vuong LRT 测试的算法。

其他模型中似乎有 Vuong 测试的 R 实现,但 lmer 没有。尽管如此,上面提到的大纲应该足以实现一个。我认为您无法根据计算所需从 lmer 获得在每个数据点评估的可能性。在关于 sig-ME 的注释中,Douglas Bates 提供了一些可能有用的建议(特别是他提到 的小插曲)。


年长者

另一种选择是在预测准确性测试中考虑模型的拟合值。Williams-Kloot 统计数据在这里可能是合适的。基本方法是根据两个模型的拟合值的线性组合回归实际值并测试斜率:

第一篇论文描述了测试(和其他),而第二篇论文在计量经济学面板模型中应用了它。


在使用lmer和比较 AIC 时,该函数的默认设置是使用 REML 方法(受限最大似然)。这对于获得偏差较小的估计值很好,但是在比较模型时,您应该重新拟合REML=FALSE使用最大似然法进行拟合。Pinheiro/Bates 书中提到了一些可以将 AIC/Likelihood 与 REML 或 ML 进行比较的条件,这些条件很可能适用于您的情况但是,一般建议是简单地重新安装。例如,请参阅 Douglas Bates 的帖子:

不过,您可以计算固定效应的置信区间,并报告 AIC 或 BIC(参见例如Cnann 等人,Stat Med 1997 16:2349)。

现在,您可能有兴趣查看Wagenmakers 等人的使用参数引导程序评估模型模仿。这似乎更类似于您最初关于评估两个竞争模型质量的问题。

否则,我想到的关于 LMM 中解释方差度量的两篇论文是:

  • Lloyd J. Edwards、Keith E. Muller、Russell D. Wolfinger、Bahjat F. Qaqish 和 Oliver Schabenberger(2008 年)。线性混合模型中固定效应的 R2 统计医学统计,27(29),6137–6157。
  • 许荣辉(2003)。测量线性混合效应模型的解释变化,医学统计,22(22),3527-3541。

但也许有更好的选择。

drcox有一篇论文讨论了测试单独的 [未嵌套] 模型。它考虑了几个例子,这些例子并没有增加混合模型的复杂性。[由于我使用 R 代码的能力有限,我不太确定您的模型是什么。]

altho cox 的论文可能无法直接解决您的问题,它可能以两种可能的方式有所帮助。

  1. 你可以在谷歌学者中搜索他论文的引用,看看后续的结果是否更接近你想要的。

  2. 如果你有分析倾向,你可以尝试将考克斯的方法应用于你的问题。[也许不适合胆小的人。]

顺便说一句 - cox 确实提到了 srikant 提出的将两个模型组合成一个更大的模型的想法。他没有追究如何决定哪个模型更好,但他指出,即使两个模型都不是很好,组合模型也可能对数据提供足够的拟合。[在您的情况下,尚不清楚组合模型是否有意义。]

我不太了解 R 来解析您的代码,但这里有一个想法:

估计一个模型,其中你有 center 和 near 作为协变量(称之为 mBoth)。然后 mCenter 和 mNear 嵌套在 mBoth 中,您可以使用 mBoth 作为基准来比较 mCenter 和 mNear 的相对性能。