机器算法验证 - 是否存在方差低于 OLS 估计量的无偏非线性估计量？ - 吾爱随笔录

机器算法验证回归数理统计线性模型

2022-03-21 04:27:26

考虑一个普通的最小二乘模型，

y = β X + ϵ ϵ \sim N (0, σ)

$y = \beta X + \epsilon \qquad \epsilon\sim N(0, \sigma)$

高斯-马尔可夫定理告诉我们，普通最小二乘 (OLS) 估计器是系数的最小方差线性无偏估计器 (BLUE)：

β \approx \hat{β} = (X^{T} X)^{- 1} X^{T} y

$\beta \approx \hat\beta = (X^TX)^{-1}X^Ty$

是否具有较低方差的无偏非线性估计器， $\tilde\beta$ ，存在？

1个回答

Gauss-Markov 定理给出了 OLS 估计量为 BLUE 的条件，这些条件不包括残差的正态性。当我们还包括该正态性假设时，我们可以删除“L”并以“最佳无偏估计量”结束，而不仅仅是最佳线性无偏估计量（俄亥俄州计量经济学笔记第 2.1 节，示例 1）。

但是，如果我们不进行正态性假设，那么我们最终会得到系数的非线性估计，其方差低于 OLS 估计但无偏。例如，考虑重尾误差和通过最小化绝对损失（中位数的分位数回归）给出的解决方案，就像我在这里所做的那样。

其它你可能感兴趣的问题