机器算法验证 - 为什么 AR(1) 系数的 OLS 估计有偏差？ - 吾爱随笔录

为什么 AR(1) 系数的 OLS 估计有偏差？

机器算法验证时间序列最小二乘偏见自回归的估计者

2022-03-23 17:09:34

我试图理解为什么 OLS 给出了 AR(1) 过程的有偏估计。考虑在这个模型中，违反了严格的外生性，即和是相关的，但和是不相关的。但如果这是真的，那么为什么下面的简单推导不成立呢？

\begin{aligned} y_{t} & = α + β y_{t - 1} + ϵ_{t}, \\ ϵ_{t} & \overset{i i d}{\sim} N (0, 1) . \end{aligned}

$\begin{aligned} y_{t} &= \alpha + \beta y_{t-1} + \epsilon_{t}, \\ \epsilon_{t} &\stackrel{iid}{\sim} N(0,1). \end{aligned}$

y_{t}

$y_t$

ϵ_{t}

$\epsilon_t$

y_{t - 1}

$y_{t-1}$

ϵ_{t}

$\epsilon_t$

\begin{aligned} plim \hat{β} & = \frac{Cov (y_{t}, y_{t - 1})}{Var (y_{t - 1})} \\ = \frac{Cov (α + β y_{t - 1} + ϵ_{t}, y_{t - 1})}{Var (y_{t - 1})} \\ = β + \frac{Cov (ϵ_{t}, y_{t - 1})}{Var (y_{t - 1})} \\ = β . \end{aligned}

$\begin{aligned} \text{plim} \ \hat{\beta} &= \frac{\text{Cov}(y_{t},y_{t-1})}{\text{Var}(y_{t-1})} \\ &=\frac{\text{Cov}(\alpha + \beta y_{t-1}+\epsilon_{t}, y_{t-1})}{\text{Var}(y_{t-1})} \\ &= \beta+ \frac{\text{Cov}(\epsilon_{t}, y_{t-1})}{\text{Var}(y_{t-1})} \\ &=\beta. \end{aligned}$

3个回答

正如评论中所讨论的那样，无偏性是一个有限样本属性，如果它成立，它将表示为

E (\hat{β}) = β

$E (\hat \beta ) = \beta$

（其中期望值是有限样本分布的一阶矩）

而一致性是一个渐近属性，表示为

plim \hat{β} = β

$\text{plim} \hat \beta = \beta$

OP 表明，即使在这种情况下 OLS 是有偏见的，它仍然是一致的。

E (\hat{β}) \neq β but plim \hat{β} = β

$E (\hat \beta ) \neq \beta\;\;\; \text{but}\;\;\; \text{plim} \hat \beta = \beta$

这里没有矛盾。

@Alecos 很好地解释了为什么正确的 plim 和 unbiasedbess 不一样。至于估计量不是无偏的根本原因，请回想一下，估计量的无偏性要求所有误差项都是独立于所有回归量值的均值， $E(\epsilon|X)=0$ .

在本例中，回归矩阵由值组成 $y_1,\ldots,y_{T-1}$ ，所以 - 见 mpiktas 的评论 - 条件转化为 $E(\epsilon_s|y_1,\ldots,y_{T-1})=0$ 对全部 $s=2,\ldots,T$ .

在这里，我们有

y_{t} = β y_{t - 1} + ϵ_{t},

$\begin{equation*} y_{t}=\beta y_{t-1}+\epsilon _{t}, \end{equation*}$ 即使在假设下

E (ϵ_{t} y_{t - 1}) = 0

$E(\epsilon_{t}y_{t-1})=0$ 我们有

E (ϵ_{t} y_{t}) = E (ϵ_{t} (β y_{t - 1} + ϵ_{t})) = E (ϵ_{t}^{2}) \neq 0.

$\begin{equation*} E(\epsilon_ty_{t})=E(\epsilon_t(\beta y_{t-1}+\epsilon _{t}))=E(\epsilon _{t}^{2})\neq 0. \end{equation*}$ 但，

y_{t}

$y_t$ 也是 AR 模型中未来值的回归量，如

y_{t + 1} = β y_{t} + ϵ_{t + 1}

$y_{t+1}=\beta y_{t}+\epsilon_{t+1}$ .

扩展两个好的答案。写下 OLS 估计量：

\hat{β} = β + \frac{\sum_{t = 2}^{T} y_{t - 1} ε_{t}}{\sum_{t = 2}^{T} y_{t - 1}^{2}}

$\hat\beta =\beta + \frac{\sum_{t=2}^Ty_{t-1}\varepsilon_t}{\sum_{t=2}^Ty_{t-1}^2}$

为了不偏不倚，我们需要

E [\frac{\sum_{t = 2}^{T} y_{t - 1} ε_{t}}{\sum_{t = 2}^{T} y_{t - 1}^{2}}] = 0.

$E\left[\frac{\sum_{t=2}^Ty_{t-1}\varepsilon_t}{\sum_{t=2}^Ty_{t-1}^2}\right]=0.$

但为此，我们需要 $E(\varepsilon_t|y_{1},...,y_{T-1})=0,$ 对于每个 $t$ . 对于 AR(1) 模型，这显然失败了，因为 $\varepsilon_t$ 与未来值有关 $y_{t},y_{t+1},...,y_{T}$ .

其它你可能感兴趣的问题

上一篇什么是联合估计？下一篇如何有效地执行神经网络建模？