机器算法验证 - 线性混合模型中的残差诊断和方差齐性 - 吾爱随笔录

线性混合模型中的残差诊断和方差齐性

机器算法验证混合模式残差异方差诊断

2022-03-27 02:39:23

在问这个问题之前，我确实搜索了我们的网站，发现了很多类似的问题，（比如这里、这里和这里）。但我觉得这些相关问题没有得到很好的回应或讨论，因此想再次提出这个问题。我觉得应该有很多观众希望这些问题能得到更清楚的解释。

对于我的问题，首先考虑线性混合效应模型，其中是线性固定效应分量，是对应于随机效应参数的附加设计矩阵。而是通常的误差项。

y = X β + Z γ + ϵ

$\mathbf{y = X\boldsymbol \beta + Z \boldsymbol \gamma + \boldsymbol \epsilon}$

X β

$X\boldsymbol \beta$

Z

$\mathbf{Z}$

γ

$\boldsymbol \gamma$

ϵ \sim N (0, σ^{2} I)

$\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$

让我们假设唯一的固定效应因子是分类变量Treatment，具有 3 个不同的水平。唯一的随机效应因素是变量Subject。也就是说，我们有一个具有固定治疗效果和随机受试者效果的混合效果模型。

因此，我的问题是：

线性混合模型设置中是否存在方差假设的同质性，类似于传统的线性回归模型？如果是这样，在上述线性混合模型问题的背景下，该假设具体意味着什么？需要评估的其他重要假设是什么？

我的想法：是的。假设（我的意思是，零误差均值和等方差）仍然来自这里：。在传统的线性回归模型设置中，我们可以说假设是“误差的方差（或仅因变量的方差）在所有 3 个治疗水平上都是恒定的”。但是我不知道如何在混合模型设置下解释这个假设。我们是否应该说“三个治疗水平的差异是恒定的，以受试者为条件？或不是？” $\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$

关于残差和影响诊断的 SAS 在线文档提出了两种不同的残差，即边际残差和条件残差\mathbf{ r_c 我的问题是，这两个残差是做什么用的？我们如何使用它们来检查同质性假设？对我来说，只有边际残差可以用来解决同质性问题，因为它对应于模型的。我在这里的理解正确吗？
$r_{m} = Y - X \hat{β}$ $\mathbf{r_m = Y - X \hat{\boldsymbol \beta}}$ $r_{c} = Y - X \hat{β} - Z \hat{γ} = r_{m} - Z \hat{γ} .$ $\mathbf{r_c = Y - X \hat{\boldsymbol \beta} - Z \hat{\boldsymbol \gamma} = r_m - Z \hat{\boldsymbol \gamma}} .$ $\boldsymbol \epsilon$
是否提出了任何测试来测试线性混合模型下的同质性假设？@Kam 之前指出了levene 的测试，这是正确的方法吗？如果不是，方向是什么？我认为在我们拟合混合模型之后，我们可以得到残差，也许可以做一些测试（比如拟合优度测试？），但不确定它会如何。
我还注意到 SAS 中 Proc Mixed 的残差有三种类型，即Raw 残差、Studentized 残差和Pearson 残差。我可以从公式上理解它们之间的差异。但对我来说，当涉及到真实数据图时，它们似乎非常相似。那么在实践中应该如何使用呢？是否存在一种类型优于其他类型的情况？
对于一个真实的数据示例，以下两个残差图来自 Proc Mixed in SAS。他们如何解决方差同质性的假设？

[我知道我在这里有几个问题。如果您能就任何问题向我提供您的任何想法，那就太好了。如果您不能，则无需解决所有这些问题。我真的很想讨论他们以获得充分的理解。谢谢！]

这是边际（原始）残差图。

这是条件（原始）残差图。

2个回答

我认为问题 1 和问题 2 是相互关联的。首先，方差同质性假设来自这里，。但是这个假设可以放宽到更一般的方差结构，其中同质性假设是不必要的。这意味着它实际上取决于如何假设 $\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$ $\boldsymbol \epsilon$

其次，条件残差用于检查的分布（因此任何相关的假设），而边际残差可用于检查总方差结构。 $\boldsymbol \epsilon$

这是一个非常广泛的主题，我将仅提供有关与标准线性回归的联系的一般情况。

在问题中列出的模型中，如果，其中表示主题或集群。让。使用 Cholesky 分解，我们可以变换结果和设计矩阵

y_{i} \sim N (X_{i} β, Z_{i} D Z_{i}^{'} + σ^{2} I),

$\mathbf{y_i \sim N(X_i\boldsymbol \beta, Z_i \boldsymbol D Z'_i + \boldsymbol \sigma^2 I)},$

γ_{i} \sim N (0, D)

$\boldsymbol \gamma_i \sim N(\mathbf{0, D})$

i

$i$

Σ_{i} = Z_{i} D Z_{i}^{'} + σ^{2} I

$\mathbf{\Sigma_i=Z_i \boldsymbol D Z'_i + \boldsymbol \sigma^2 I}$

Σ_{i} = L_{i} L_{i}^{'}

$\mathbf{\Sigma_i=L_i L'_i}$

y_{i}^{*} = L_{i}^{- 1} y_{i}; X_{i}^{*} = L_{i}^{- 1} X_{i} .

$\mathbf{y^*_i=L_i^{-1}y_i; X^*_i=L_i^{-1}X_i}.$

如应用纵向分析的广义最小二乘 (GLS) 估计（在上回归的 OLS 回归中重新估计在上。因此，可以在此处使用生成的 OLS 中的所有内置残留诊断。 $\boldsymbol \beta$ $\mathbf y_i$ $\mathbf X_i$ $\mathbf y^*_i$ $\mathbf X^*_i$

我们需要做的是：

从线性混合模型中的（边际）残差或方差分量估计中估计； $\boldsymbol \Sigma_i$
使用转换后的数据重新拟合 OLS 回归。

OLS 回归假设具有均匀方差的独立观察，因此可以将标准诊断技术应用于其残差。

更多细节可以在Applied Longitudinal Analysis一书的第 10 章“残差分析和诊断”中找到。他们还讨论了用转换残差，并且有一些（转换后的）残差图（与预测值或预测变量相比）。更多读物在 10.8“进一步读物”和其中的书目注释中列出。 $\mathbf L_i$

此外，在我看来，假设我们假设独立且方差齐次，我们可以使用标准回归中的工具在条件残差上测试这些假设。 $\boldsymbol \epsilon$

其它你可能感兴趣的问题

上一篇聚类邻接矩阵的最佳方法下一篇矩生成函数和傅里叶变换？