固定效应、随机效应和混合效应模型有什么区别?

机器算法验证 混合模式 随机效应模型 定义 固定效应模型
2022-02-02 10:23:20

简单来说,您将如何解释(也许用简单的例子)固定效应、随机效应和混合效应模型之间的区别?

4个回答

有这方面的好书,例如Gelman 和 Hill接下来的内容基本上是对他们观点的总结。

首先,你不应该太沉迷于术语。在统计学中,绝不能用行话代替对模型本身的数学理解。对于随机和混合效应模型尤其如此。“混合”只是意味着模型既有固定效应又有随机效应,所以让我们关注固定和随机之间的区别。

随机效应与固定效应

假设您有一个带有分类预测变量的模型,该模型根据类别值将您的观察结果分组。*与该预测变量相关的模型系数或“效果”可以是固定的或随机的。两者之间最重要的实际区别是:

随机效应是通过部分汇集来估计的,而固定效应不是。

部分池化意味着,如果您在一个组中的数据点很少,则该组的效果估计将部分基于来自其他组的更丰富的数据。这可能是通过完全汇集所有组来估计效果之间的一个很好的折衷,这掩盖了组级别的变化,并且完全分别估计所有组的效果,这可能对低样本组给出较差的估计。

随机效应只是部分汇集技术作为通用统计模型的扩展。这使得该想法能够原则性地应用于各种情况,包括多个预测变量、混合的连续和分类变量以及复杂的相关结构。(但强大的力量伴随着巨大的责任:建模和推理的复杂性大大增加,并可能产生微妙的偏见,需要相当复杂的才能避免。)

为了激发随机效应模型,问问自己:为什么要部分池化?可能是因为您认为小子组是具有共同平均效应的较大组的一部分。子组均值可以稍微偏离大组均值,但不能偏离任意量。为了形式化这个想法,我们假设偏差遵循一个分布,通常是高斯分布。这就是随机效应中的“随机”出现的地方:我们假设子组与父组的偏差遵循随机变量的分布。一旦你有了这个想法,混合效应模型方程自然就会出现。

不幸的是,混合效应模型的用户通常对随机效应是什么以及它们与固定效应有何不同有错误的先入之见。人们听到“随机”并认为这意味着正在建模的系统非常特殊,例如当某些东西“固定”时必须使用固定效果,而当某些东西“随机采样”时必须使用随机效果。但是假设模型系数来自分布并没有什么特别随机的。它只是一个软约束,类似于应用于岭回归中模型系数在很多情况下,您可能希望或可能不希望使用随机效果,它们不一定与“固定”和“随机”之间的区别有很大关系2

不幸的是,由这些术语引起的概念混淆导致了大量相互矛盾的定义在这个链接的五个定义中,只有#4 在一般情况下是完全正确的,但它也完全没有信息。您必须阅读整篇论文和书籍(或者阅读这篇文章)才能理解该定义在实际工作中的含义。

例子

让我们看一个随机效应建模可能有用的案例。假设您想按邮政编码估算美国家庭的平均收入。您有一个大型数据集,其中包含对家庭收入和邮政编码的观察。一些邮政编码在数据集中得到了很好的表示,但其他的只有几户人家。

对于您的初始模型,您很可能会采用每个 ZIP 的平均收入。当您有大量 ZIP 数据时,这将很有效,但对采样不佳的 ZIP 的估计值将受到高方差的影响。您可以通过使用收缩估计器(又名部分池化)来缓解这种情况,这会将极端值推向所有邮政编码的平均收入。

但是你应该为特定的 ZIP 做多少收缩/池化?直观地说,它应该取决于以下几点:

  1. 您在该 ZIP 中有多少观察结果
  2. 您总共有多少观察结果
  3. 所有邮政编码中家庭收入个人水平均值和方差
  4. 所有邮政编码的平均家庭收入组级方差

如果将邮政编码建模为随机效应,考虑到上述所有因素,所有邮政编码中的平均收入估计值将受到统计上有充分根据的收缩。

最好的部分是随机和混合效应模型自动处理模型中所有随机效应的 (4),即变异性估计。这比乍看之下更难:您可以尝试每个 ZIP 的样本均值的方差,但这会产生很大的偏差,因为不同 ZIP 的估计值之间的一些方差只是抽样方差。在随机效应模型中,推理过程会考虑抽样方差并相应地缩小方差估计。

考虑到 (1)-(4),随机/混合效应模型能够确定低样本组的适当收缩。它还可以处理具有许多不同预测变量的更复杂的模型。

与分层贝叶斯建模的关系

如果这对您来说听起来像是分层贝叶斯建模,那么您是对的 - 它是近亲,但并不完全相同。混合效应模型是分层的,因为它们假设潜在的、未观察到的参数的分布,但它们通常不是完全贝叶斯的,因为顶级超参数不会被赋予适当的先验。例如,在上面的例子中,我们很可能将给定 ZIP 中的平均收入视为来自正态分布的样本,通过混合效应拟合过程估计具有未知的均值和 sigma。但是,(非贝叶斯)混合效应模型通常没有关于未知均值和 sigma 的先验,因此它不是完全贝叶斯模型。也就是说,对于一个体面的数据集,标准混合效应模型和完全贝叶斯变体通常会给出非常相似的结果。

*虽然该主题的许多处理都集中在“组”的狭义定义上,但该概念实际上非常灵活:它只是一组具有共同属性的观察。一个小组可以由一个人的多次观察组成,也可以是一个学校的多个人,或者一个地区的多个学校,或者一种水果的多个品种,或者同一收获的多种蔬菜,或者多次收获同种蔬菜等。任何分类变量都可以作为分组变量。

统计学家 Andrew Gelman说,术语“固定效应”和“随机效应”具有不同的含义,具体取决于使用它们的人。也许您可以选择 5 个定义中的哪一个适用于您的案例。一般来说,寻找描述作者正在使用的概率模型的方程(阅读时)或写出您想要使用的完整概率模型(写作时)可能会更好。

在这里,我们概述了我们已经看到的五个定义:

  1. 固定效应在个体之间是恒定的,而随机效应会有所不同。例如,在增长研究中,具有随机截距和固定斜率的模型对应于不同个体的平行线,或模型因此,Kreft 和 De Leeuw (1998) 区分了固定系数和随机系数。aibiyit=ai+bt

  2. 如果它们本身感兴趣,则效果是固定的,如果对基础人群感兴趣,则效果是随机的。Searle、Casella 和 McCulloch(1992,第 1.4 节)深入探讨了这种区别。

  3. “当样本耗尽总体时,相应的变量是固定的;当样本是总体的一小部分(即可以忽略不计)时,相应的变量是随机的。” (格林和图基,1960)

  4. “如果一个效应被假设为一个随机变量的实现值,它被称为随机效应。” (拉莫特,1983 年)

  5. 使用最小二乘法(或更一般地说,最大似然)估计固定效应,使用收缩估计随机效应(Robinson 的术语中的“线性无偏预测”,1991)。该定义在多层次建模文献(例如,参见 Snijders 和 Bosker,1999,第 4.2 节)和计量经济学中是标准的。

[ Gelman,2004,方差分析——为什么它比以往任何时候都更重要。统计年鉴。]

我在关于混合模型的一本书的章节中写过这一点(Fox、Negrete-Yankelevich 和 Sosa 2014 的第 13 章);相关页面(第 311-315 页)可在 Google 图书上找到。我认为这个问题可以归结为“固定效应和随机效应的定义是什么?” (“混合模型”只是包含两者的模型)。我的讨论很少谈到它们的正式定义(对此我会遵从上面@JohnSalvatier 的答案链接的 Gelman 论文),而更多地谈到它们的实际特性和效用。以下是一些摘录:

随机效应的传统观点是在一些观察结果相关时进行正确的统计检验。

我们还可以将随机效应视为一种将来自不同级别的信息组合在一个分组变量中的方法。

当我们有(1)很多级别(例如,许多物种或块),(2)每个级别上的数据相对较少(尽管我们需要来自大多数级别的多个样本),以及(3)不均匀时,随机效应特别有用跨级别抽样(框 13.1)。

频率论者和贝叶斯论者对随机效应的定义略有不同,这会影响他们使用它们的方式。频率论者将随机效应定义为分类变量,其水平是从更大的总体中随机选择的,例如,从特有物种列表中随机选择的物种。贝叶斯将随机效应定义为一组变量,其参数[全部]来自[相同]分布。频率论者的定义在哲学上是连贯的,你会遇到坚持它的研究人员(包括审稿人和主管),但实际上可能存在问题。例如,这意味着当您观察到现场的所有物种时,您不能将物种用作随机效应——因为物种列表不是来自更大种群的样本——或者使用年份作为随机效应,因为研究人员很少在随机抽样的年份进行实验——他们通常使用一系列连续的年份,或者他们可以进入该领域的随机年份。

随机效应也可以描述为预测变量,您有兴趣推断值的分布(即不同水平的响应值之间的方差),而不是测试特定水平之间的值差异。

人们有时会说随机效应是“你不感兴趣的因素”。这并非总是如此。虽然在生态实验中经常出现这种情况(地点之间的差异通常只是一种麻烦),但有时也很有趣,例如在进化研究中,基因型之间的差异是自然选择的原材料,或者在人口研究中其中年际变化会降低长期增长率。在某些情况下,固定效应也用于控制无意义的变化,例如,使用质量作为协变量来控制身体大小的影响。

您还将听到“您不能对条件模式的(预测)值说任何话”。这也不是真的——你不能正式测试一个零假设,即该值等于 0,或者两个不同级别的值相等,但查看预测值仍然是完全明智的,甚至计算预测值的标准误差(例如,参见图 13.1 中条件模式周围的误差条)。

贝叶斯框架对随机效应有更简单的定义。在贝叶斯方法下,固定效应是我们独立估计每个参数(例如,一个属内每个物种的平均值)(具有独立指定的先验),而对于随机效应,每个级别的参数被建模为绘制来自分布(通常是正态);在标准统计符号中,species_meanN(genus_mean,σspecies2)

我在上面说过,当分组变量具有许多测量水平时,随机效应最有用。相反,当分组变量的水平太少时,随机效应通常无效。当分组变量的水平少于五个时,通常不能使用随机效应,并且随机效应方差估计在少于八个水平时不稳定,因为您试图从非常小的样本中估计方差。

固定效应:实验者直接操作并且通常可以重复的东西,例如,给药——一组服用药物,一组服用安慰剂。

随机效应:随机变化/实验单位的来源,例如,从人群中随机抽取的个体用于临床试验。随机效应估计变异性

混合效应:包括两者,这些情况下的固定效应是估计总体水平系数,而随机效应可以解释个体对效应的反应差异,例如,每个人在不同场合同时接受药物和安慰剂,固定效应效果估计药物的效果,随机效应项将允许每个人对药物做出不同的反应。

混合效应的一般类别 - 重复测量、纵向、分层、裂区。