方差-协方差矩阵解释

机器算法验证 r 解释 多重共线性 假设 协方差矩阵
2022-02-05 08:17:43

假设我们有一个线性模型Model1vcov(Model1)给出以下矩阵:

             (Intercept)    latitude  sea.distance   altitude
(Intercept)    28.898100 -23.6439000  -34.1523000  0.50790600
latitude      -23.643900  19.7032500   28.4602500 -0.42471450
sea.distance  -34.152300  28.4602500   42.4714500 -0.62612550
altitude        0.507906  -0.4247145   -0.6261255  0.00928242

对于这个例子,这个矩阵实际上显示了什么?我们可以安全地为我们的模型及其自变量做出哪些假设?

2个回答

@Donnie 提供了一个很好的答案(+1)。让我补充几点。

沿着方差-协方差矩阵的主对角线运行的是参数估计的抽样分布的方差(即,β^j的)。因此,取这些值的平方根会产生标准误差,这些误差会随统计输出一起报告:

SEs   = sqrt(diag(vcov(Model1)))
SEs
# [1] 5.37569530 4.43883431 6.51701235 0.09634532

这些用于形成置信区间并测试有关您的 beta 的假设。

非对角线元素将是0如果所有变量都是正交的,但您的值远非0. 使用该cov2cor()函数,或通过组成变量方差的平方根来标准化协方差,可以发现所有变量都是高度相关的(|r|>.97),所以你有大量的多重共线性这会使您的标准误差比其他情况大得多。同样,这意味着有大量关于贝塔抽样分布的信息被排除在标准假设检验之外(β^j/SE(β^j)),因此您可能希望使用基于类型 I 平方和的顺序测试策略。

该矩阵显示回归系数之间的方差和协方差的估计值。特别是,对于您的设计矩阵X,以及方差的估计,σ^2,您显示的矩阵是σ^2(XX)1.

对角线条目是回归系数的方差,非对角线是相应回归系数之间的协方差。

就假设而言,将 cov2cor() 函数应用于您的方差-协方差矩阵。此函数将给定矩阵转换为相关矩阵。您将获得回归系数之间相关性的估计值。提示:对于这个矩阵,每个相关性都有很大的幅度。

特别要说一下模型,我们需要回归系数的点估计来进一步说明。