OLS 是假设模型为真的无偏估计量，也就是说，

1. 效果是完全线性的
2. 包括所有具有非零效应的变量
3. 包括所有交互
4. 没有非线性效应

和其他小模型的不足之处。请参阅我在为什么不相关的回归量在大样本中变得具有统计显着性？. 偏差方差分解是（来自 ESL 的第 7.3 节，第二版）

$$\DeclareMathOperator{\E}{\mathbb{E}}\begin{align} \text{Err}(x_0)&=\E[(Y-\hat{f}(x_0)))^2\mid X=x_0] \\ &=\sigma^2_\epsilon + [\E \hat{f}(x_0)-f(x_0)]^2 + \E [\hat{f}(x_0)-\E\hat{f}(x_0)]^2 \\ &= \sigma^2_ \epsilon + \text{Bias}^2(\hat{f}(x_0)) + \text{Var}(\hat{f}(x_0))\\ &= \text{Irreducible Error}+\text{Bias}^2 + \text{Variance}. \end{align}$$ 如果您的模型是正确的，$\text{Bias}^2$项将为零，但如果模型是近似的，则不会。

线性回归是一个通用术语。使用时， 首先想到的是也是线性回归，即和。只是我们使用多项式特征。数据（目标）可以是抛物线性质的，但如果您使用多项式特征，它仍然可以通过线性回归进行估计。当您使用与数据相比过于简单的模型时，就会出现高偏差；不是特别是当您使用模型时。$y=ax+b+\epsilon$$y=ax^2+bx+c+\epsilon$$x_2=x, x_1=x^2$$y=ax_1+bx_2+c+\epsilon$$y=ax+b+\epsilon$

无偏估计器是一个稍微不同的概念。如果一个估计量，比如 变量是无偏的，那么我们有。一个非常简单的无偏估计量是均值；它也是无偏的，因为如果那么它的期望值将等于平均值​​： . 因此，更不用说 OLS，仅使用均值是一种无偏估计技术。因此，拥有无偏估计器并不意味着您的估计器非常适合您的数据。$\hat{\theta}$$\theta$$E[\hat{\theta}]=\theta$$\hat{\theta}=\mu$$E[\hat{\theta}]=E[\mu]=\mu=E[\theta]$