三明治估计直觉

机器算法验证 多重回归 残差 异方差 稳健标准错误
2022-02-11 14:56:51

维基百科和 R 三明治包小插图提供了有关支持 OLS 系数标准误差的假设和三明治估计器的数学背景的良好信息。不过,我仍然不清楚如何解决残差异方差问题,可能是因为我一开始并不完全理解标准 OLS 系数方差估计。

三明治估计器背后的直觉是什么?

1个回答

对于 OLS,您可以想象您使用残差的估计方差(在独立性和同方差性的假设下)作为条件方差的估计Yis。在基于三明治的估计器中,您使用观察到的残差平方作为插件估计相同的方差,该方差在观察之间可能会有所不同。

var(β^)=(XTX)1(XTdiag(var(Y|X))X)(XTX)1

在回归系数估计的普通最小二乘标准误差估计中,结果的条件方差被视为恒定且独立的,因此可以进行一致的估计。

var^OLS(β^)=(XTX)1(r2XTX)(XTX)1

对于三明治,我们避开了条件方差的一致估计,而是使用平方残差对每个组件的方差进行插件估计

var^RSE(β^)=(XTX)1(XTdiag(ri2)X)(XTX)1

通过使用插件方差估计,我们得到一致的方差估计β^由李雅普诺夫中心极限定理。

直观地说,这些观察到的平方残差将消除由于异方差性导致的任何无法解释的误差,否则在恒定方差的假设下,这些误差本来是出乎意料的。