协方差为负时回归系数总和的标准误

机器算法验证 回归 线性模型 协方差 标准错误 回归系数
2022-03-21 01:05:50

我有一个关于适当计算线性回归模型中两个系数之和的标准误差的问题。我的问题类似于thisthis,但我似乎无法从那里提供的答案中解决问题。

我有以下形式的模型:

Y=α+β1X1+β2X2+β3X1X2

我希望能够计算边际效应X2Y为了X1=0X1=1. 我认为我说这些边际效应的点估计是正确的β2对于第一种情况和β2+β3对于第二种情况。

我的问题是关于标准误差的适当计算。我认为这是标准误差的正确公式β2+β3点估计。

SEb2+3=SE22+SE32+2Cov(β2,β3)

但是,问题源于我正在估计的模型产生的协方差矩阵如下所示:

              Constant        beta_1        beta_2        beta_3
Constant  3.938580e-06 -6.259416e-06 -1.397691e-06  2.242824e-06
beta_1   -6.259416e-06  1.187334e-04  2.222736e-06 -4.738965e-05
beta_2   -1.397691e-06  2.222736e-06  5.457572e-07 -8.701802e-07
beta_3    2.242824e-06 -4.738965e-05 -8.701802e-07  2.004982e-05

将相关值代入上述公式会导致平方根符号下方出现负数,这显然不对!

1.409763e-08 + 4.019951e-10 + 2*(-8.701802e-07) = -1.725861e-06

用更一般的术语来说,对我来说,这似乎是一个更普遍的问题,其中两个估计参数的协方差为负且大于(绝对值)这些参数的方差之和。另一方面,我可能只是在某个地方犯了错误。如果有人对我可能出错的地方有任何建议,将不胜感激。

1个回答

为了详细说明(实际上,使我的部分更准确)评论中的讨论:

方差-协方差矩阵是半正定矩阵,例如在@DilipSarwate 的回答中讨论

加权和的方差iaiXi对于所有实数选择,随机变量的数量必须为非负数ai. 由于方差可以表示为

var(iaiXi)=ijaiajcov(Xi,Xj)=ijaiajΣi,j,
我们有协方差矩阵 Σ=[Σi,j]必须是半正定(有时称为非负定)。

(正如一般符号所暗示的,这个问题因此也与系数估计无关,但适用于所有随机变量。)

如果你专门解决你的问题a1=a2=1, 你得到众所周知的结果

var(X1+X2)=var(X1)+var(X2)+2cov(Xi,Xj)0
因此,最小可能的协方差是
cov(Xi,Xj)=var(X1)+var(X2)2