我不相信第一个估计是无偏的。

在线性模型假设下

$$Y = X \beta + \epsilon$$

第一个估计量的期望是

$$E[X^{T} Y] = E[X^{T}X \beta] + E[X^{T} \epsilon] = \underbrace{X^{T}X \beta + X^{T} E[\epsilon]}_{\text{linearity of expectation}} = X^{T}X \beta$$

由此我们得出结论，当且仅当时，所提出的估计量是无偏的。$X^{T} X \beta = \beta$

这个计算也清楚地说明了为什么第二个估计量总是无偏的。

您的第一个估算器不起作用。它不仅有偏差，而且偏差随着样本量的增加而增加。

想象一个简单的截距模型： 这里你的设计矩阵是一个简单的向量，。

$$y_i=c+\varepsilon_i$$ $x_i=1$

你的估计是

$$\hat c = X'Y\equiv\sum_{i=1}^n y_i$$

如果您添加更多数据，您的估算器会无限增加： when

$$\hat c\to\infty$$ $n\to\infty$

这没有任何意义，因为假设，这表明可能是一个很好的估计器。$E[y_i]=c$$E[\varepsilon_i]=0$$\hat c=\bar y_i$

但是，在这里，使用第二个估计器，您可以从看起来合理的估计器中得到您期望的结果： $X'X=n$

$$\hat c=\frac{1}{n}\sum_{i=1}^n y_i\equiv \bar y$$

更新：您的第二个估计器将在一种情况下工作：如果设计矩阵是正交的和正方形的，即形成正交基。

最简单的情况是，在我的示例中，您只有一个观察结果。你有，所以，然后你得到： $X=1$$X'Y=y_1$

$$\hat c=y_1$$