关于截距斜率相关在多级模型中的效用

机器算法验证 混合模式 状态 多层次分析
2022-03-20 02:45:06

Snijders & Bosker(第 8 章,第 8.2 节,第 119 页)在他们的书“多级分析:基本和高级多级建模简介”(1999 年)中说,截距-斜率相关性计算为截距-斜率协方差除以通过截距方差和斜率方差乘积的平方根,在 -1 和 +1 之间没有界限,甚至可以是无限的。

鉴于此,我认为我不应该相信它。但我有一个例子来说明。在我的一项分析中,种族(二分法),年龄和年龄*种族作为固定效应,队列作为随机效应,种族二分法变量作为随机斜率,我的一系列散点图显示斜率在值之间变化不大我的集群(即群组)变量,并且我没有看到跨群组的斜率变得更小或更陡峭。似然比检验还表明,尽管我的总样本量(N=22,156),随机截距和随机斜率模型之间的拟合并不显着。然而,截距-斜率相关性接近-0.80(这表明随着时间的推移,Y 变量的组差异有很强的收敛性,即跨群组)。

除了 Snijders & Bosker (1999) 已经说过的话,我认为这很好地说明了为什么我不相信截距-斜率相关性。

我们真的应该信任并报告多层次研究中的截距斜率相关性吗?具体来说,这种相关性有什么用处?

编辑1:我认为它不会回答我的问题,但gung要求我提供更多信息。如果有帮助,请参见下文。

数据来自综合社会调查。对于语法,我使用了 Stata 12,所以它是:

xtmixed wordsum bw1 aged1 aged2 aged3 aged4 aged6 aged7 aged8 aged9 bw1aged1 bw1aged2 bw1aged3 bw1aged4 bw1aged6 bw1aged7 bw1aged8 bw1aged9 || cohort21: bw1, reml cov(un) var
  • wordsum是词汇测试分数(0-10),
  • bw1是种族变量(黑色=0,白色=1),
  • aged1-aged9是年龄的虚拟变量,
  • bw1aged1-bw1aged9是种族和年龄之间的相互作用,
  • cohort21是我的群组变量(21 个类别,编码为 0 到 20)。

输出内容如下:

    . xtmixed wordsum bw1 aged1 aged2 aged3 aged4 aged6 aged7 aged8 aged9 bw1aged1 bw1aged2 bw1aged3 bw1aged4 bw1aged6 bw1aged7 bw1aged8 bw1aged9 || cohort21: bw1, reml 
> cov(un) var

Performing EM optimization: 

Performing gradient-based optimization: 

Iteration 0:   log restricted-likelihood = -46809.738  
Iteration 1:   log restricted-likelihood = -46809.673  
Iteration 2:   log restricted-likelihood = -46809.673  

Computing standard errors:

Mixed-effects REML regression                   Number of obs      =     22156
Group variable: cohort21                        Number of groups   =        21

                                                Obs per group: min =       307
                                                               avg =    1055.0
                                                               max =      1728


                                                Wald chi2(17)      =   1563.31
Log restricted-likelihood = -46809.673          Prob > chi2        =    0.0000

------------------------------------------------------------------------------
     wordsum |      Coef.   Std. Err.      z    P>|z|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
         bw1 |   1.295614   .1030182    12.58   0.000     1.093702    1.497526
       aged1 |  -.7546665    .139246    -5.42   0.000    -1.027584   -.4817494
       aged2 |  -.3792977   .1315739    -2.88   0.004    -.6371779   -.1214175
       aged3 |  -.1504477   .1286839    -1.17   0.242    -.4026635     .101768
       aged4 |  -.1160748   .1339034    -0.87   0.386    -.3785207    .1463711
       aged6 |  -.1653243   .1365332    -1.21   0.226    -.4329245     .102276
       aged7 |  -.2355365    .143577    -1.64   0.101    -.5169423    .0458693
       aged8 |  -.2810572   .1575993    -1.78   0.075    -.5899461    .0278318
       aged9 |  -.6922531   .1690787    -4.09   0.000    -1.023641   -.3608649
    bw1aged1 |  -.2634496   .1506558    -1.75   0.080    -.5587297    .0318304
    bw1aged2 |  -.1059969   .1427813    -0.74   0.458    -.3858431    .1738493
    bw1aged3 |  -.1189573   .1410978    -0.84   0.399     -.395504    .1575893
    bw1aged4 |    .058361   .1457749     0.40   0.689    -.2273525    .3440746
    bw1aged6 |   .1909798   .1484818     1.29   0.198    -.1000393    .4819988
    bw1aged7 |   .2117798    .154987     1.37   0.172    -.0919891    .5155486
    bw1aged8 |   .3350124    .167292     2.00   0.045     .0071262    .6628987
    bw1aged9 |   .7307429   .1758304     4.16   0.000     .3861217    1.075364
       _cons |   5.208518   .1060306    49.12   0.000     5.000702    5.416334
------------------------------------------------------------------------------

------------------------------------------------------------------------------
  Random-effects Parameters  |   Estimate   Std. Err.     [95% Conf. Interval]
-----------------------------+------------------------------------------------
cohort21: Unstructured       |
                    var(bw1) |   .0049087    .010795      .0000659    .3655149
                  var(_cons) |   .0480407   .0271812      .0158491     .145618
              cov(bw1,_cons) |  -.0119882    .015875     -.0431026    .0191262
-----------------------------+------------------------------------------------
               var(Residual) |   3.988915   .0379483      3.915227     4.06399
------------------------------------------------------------------------------
LR test vs. linear regression:       chi2(3) =    85.83   Prob > chi2 = 0.0000

Note: LR test is conservative and provided only for reference.

我制作的散点图如下所示。有九个散点图,一个用于我的年龄变量的每个类别。

在此处输入图像描述

编辑2:

. estat recovariance

Random-effects covariance matrix for level cohort21

             |       bw1      _cons 
-------------+----------------------
         bw1 |  .0049087            
       _cons | -.0119882   .0480407

我还想补充一点:困扰我的是,关于截距-斜率协方差/相关性,Joop J. Hox (2010, p. 90) 在他的“多级分析技术和应用,第二版”一书中说:

如果将其表示为截距和斜率残差之间的相关性,则更容易解释此协方差。...在除时间变量外没有其他预测变量的模型中,这种相关性可以解释为普通相关性,但在模型 5 和 6 中,它是部分相关性,以模型中的预测变量为条件。

因此,似乎不是每个人都会同意 Snijders & Bosker (1999, p. 119) 的观点,他们认为“相关性的概念在这里没有意义”,因为它没有在 [-1, 1] 之间的界限。

2个回答

几周前,我给几位学者(近 30 人)发了电子邮件。他们中很少有人发送邮件(总是集体电子邮件)。Eugene Demidenko 第一个回答:

无论解释如何,cov/sqrt(var1*var2) 始终在 [-1,1] 范围内:它可能是截距和斜率、两个斜率等的估计值。事实上 -1<=cov/sqrt(var1*var2 )<=1 遵循柯西不等式,并且始终为真。因此,我驳回了 Snijders & Bosker 的声明。也许缺少其他一些信息?

随后是来自 Thomas Snijders 的电子邮件:

缺少的信息是 Snijders & Bosker(2012 年第 2 版)第 122、123、124、129 页上实际写的内容。这不是关于两个相互竞争的主张,其中只有一个是正确的,而是关于两种不同的解释。

在页。123 引入了二次方差函数,\sigma_0^2 + 2 \sigma_{01} * x + \sigma_1^2 * x^2 并做出以下说明:“这个公式可以在不解释 \sigma_0^ 的情况下使用2 和 \sigma_1^2 是方差,而 \sigma_{01} 是协方差;这些参数可以是任何数字。该公式仅暗示残差方差是 x 的二次函数。

让我引用 p 的完整段落。129,关于二级方差函数;请注意,一个可能的解释是 \tau_0^2 和 \tau_1^2 是随机截距和随机斜率的二级方差,而 \tau_{01} 是它们的协方差,但这明确地放在了地平线后面:

“参数 \tau_0^2、\tau_1^2 和 \tau_{01} 与前一节一样,不应将其本身解释为方差和相应的协方差。解释是通过方差函数 (8.7 ) [注意 ts:在书中这被错误地报告为 8.8]。因此不需要 \tau_{01}^2 <= \tau_0^2 * \tau_1^2。换句话说,“相关性”由 \tau_{01}/(\tau_0 * \tau_1) 正式定义的可能大于 1 或小于 -1,甚至无限,因为相关性的概念在这里没有意义。 \tau_1^2 = 0 且仅使用参数 \tau_0^2 和 \tau_{01} 的线性方差函数。"

方差函数是 x 的二次函数(变量“具有随机斜率”),结果的方差是 this 加上 1 级方差。只要这对所有 x 都是正的,建模的方差就是正的。(一个额外的要求是对应的协方差矩阵是正定的。)

一些进一步的背景是软件中参数估计算法存在差异。在一些多级(随机效应)软件中,要求随机效应的协方差矩阵在所有水平上都是半正定的。在其他软件中,仅要求观测数据的估计协方差矩阵是半正定的。这意味着放弃了潜在变量随机系数的想法,模型为观察到的数据指定了一定的协方差结构;不多也不少;在这种情况下,引用的 Joop Hox 解释不适用。请注意,Harvey Goldstein 早就在第一层使用了线性方差函数,由第一层的零斜率方差和非零斜率截距相关性表示;这曾经并且被称为“复杂变化”;见,例如, http://www.bristol.ac.uk/media-library/sites/cmm/migrated/documents/modelling-complex-variation.pdf

然后,乔普·霍克斯回答说:

在 MLwiN 软件中,实际上可以估计协方差项,同时将其中一个方差约束为零,这将使“相关性”无限。是的,某些软件将允许进行负方差等估计(SEM 软件通常允许这样做)。所以我的陈述并不完全准确。我指的是“正常”的非结构化随机结构。让我补充一点,如果您使用随机斜率重新调整变量以具有不同的零点,则方差和协方差通常会发生变化。因此,只有当预测变量具有固定的零点时,相关性才可解释,即在比率尺度上测量。这适用于增长曲线模型,其中有时会解释初始状态和增长率之间的相关性。在这种情况下,零值应该是 '

他又发了一封邮件:

无论如何,我认为汤姆下面的解释比我更非正式的风格更适合 Snijders/Bosker 合作的风格。我将在第 90 页添加一个脚注,说明类似“请注意,随机部分中的参数值是估计值。将标准化协方差解释为普通相关性假设对方差没有约束,并且软件不允许负估计。如果随机部分是非结构化的,则作为普通(协)方差的解释通常是站得住脚的。”。

请注意,我在纵向章节中写过相关性解释。在增长曲线建模中,很容易将这种相关性解释为实质性结果,这是危险的,因为该值取决于“时间度量”。如果您对此感兴趣,我建议您访问 Lesa Hoffman 的网站 ( http://www.lesahoffman.com/ )。

因此,我认为在我为随机效应指定非结构化协方差的情况下,我应该将截距斜率相关性解释为普通相关性。

我只能为您与现场人员核对的努力表示赞赏。我想就截距和斜率之间的相关性的效用发表一点评论。Skrondal 和 Rabe-Hesketh (2004)提供了一个简单而愚蠢的示例,说明如何通过以随机斜率进入模型的变量的移位/居中来操纵这种相关性。见第 54 -- 在亚马逊预览中搜索“图 3.1”。它至少值几十个字。