为什么随机效应会缩小到 0?

机器算法验证 混合模式 随机效应模型
2022-03-25 00:54:34

在一般线性混合模型中,随机效应是否有一个直观的原因缩小到它们的预期值?

3个回答

一般来说,大多数“随机效应”发生在还有“固定效应”或模型的其他部分的情况下。一般的线性混合模型如下所示:

yi=xiTβ+ziTu+ϵi

在哪里β是“固定效应”和u是“随机效应”。显然,这种区别只能在概念层面,或者在估计的方法上uβ. 如果我定义一个新的“固定效果”x~i=(xiT,ziT)Tβ~=(βT,uT)T然后我有一个普通的线性回归:

yi=x~iTβ~+ϵi

当潜在的概念目标不明确时,当涉及到拟合混合模型时,这通常是一个真正的实际问题。我认为随机效应的事实u 向零收缩,并且固定效应β 这里没有提供一些帮助。这意味着我们将倾向于只支持模型β包括(即u=0) 当估计uOLS 公式的精度低,并且在估计时倾向于使用完整的 OLS 公式u具有高精度。

你的问题自己没有回答吗?如果一个值是预期的,那么一种使值更接近该值的技术将是最好的。

一个简单的答案来自大数定律。假设主题是您的随机效应。如果您让受试者 A 到 D 进行 200 次试验,受试者 E 进行 20 次试验,您认为哪个受试者的测量平均表现更能代表 mu?大数定律预测,科目 E 的表现比 A 到 D 中的任何一个都更可能偏离 mu 更大的量。它可能会或可能不会,任何科目都可能偏离,但我们会更多有理由缩小受试者 E 对受试者 A 到 D 的影响,而不是相反。因此,较大且 N 较小的随机效应往往是缩小最多的随机效应。

从这个描述也得出了为什么固定效应没有缩小。这是因为它们是固定的,模型中只有一个。您没有参考将其缩小。您可以使用 0 的斜率作为参考,但这不是随机效应缩小的方向。他们倾向于总体估计,例如 mu。您从模型中获得的固定效应就是该估计值。

我认为将混合模型视为分层或多级模型可能对您的直觉有所帮助。至少对我来说,当我想到嵌套以及模型如何以分层方式在类别内和跨类别工作时,它更有意义。

编辑:宏,我把它留了一点,因为它确实帮助我更直观地查看它,但我不确定它是否正确。但是要在可能不正确的方向上扩展它......

我将其视为跨类别平均的固定效应和区分类别的随机效应。从某种意义上说,随机效应是具有某些共同特征的“簇”,更大更紧凑的簇在更高层次上对平均值的影响更大。

随着 OLS 进行拟合(我相信分阶段进行),更大和更紧凑的随机效应“集群”将因此更强烈地将拟合拉向自身,而更小或更分散的“集群”将更少地拉动拟合。或者也许拟合开始于更接近更大和更紧凑的“集群”,因为更高级别的平均值更接近开始

对不起,我不能更清楚,甚至可能是错的。直觉上这对我来说是有意义的,但是当我尝试编写它时,我不确定它是自上而下还是自下而上的东西,或者不同的东西。是较低级别的“集群”更强烈地拉向自己,还是对较高级别的平均值产生更大的影响——因此“最终”更接近于较高级别的平均值——或者两者都不是?

无论哪种情况,我觉得它解释了为什么更小、更分散的随机变量类别会比更大、更紧凑的类别更接近均值。