使用 OLS 与 ML 估计线性回归

机器算法验证 回归 最小二乘 线性模型
2022-03-13 12:48:56

假设我要估计我假设的线性回归uN(0,σ2). OLS 对 ML 估计有什么好处?我知道我们需要知道一个分布u当我们使用 ML 方法时,但因为我假设uN(0,σ2)无论我使用 ML 还是 OLS,这一点似乎都无关紧要。因此,OLS 的唯一优势应该在于β估计者。或者我们还有 OLS 方法的其他优点吗?

3个回答

使用通常的符号,ML 方法的对数似然是

l(β0,β1;y1,,yn)=i=1n{12log(2πσ2)(yi(β0+β1xi))22σ2}.

它必须相对于最大化β0β1.

但是,很容易看出这相当于最小化

i=1n(yi(β0+β1xi))2.

因此,ML 和 OLS 都导致相同的解决方案。

这些精美的讲义中提供了更多详细信息

您正在关注问题中概念的错误部分。最小二乘的美妙之处在于它给出了一个很好的简单答案,而与分布无关,如果真实分布恰好是正态分布,那么它也是最大似然答案(我认为这是高斯-马尔科夫定理)。当您的分布不是正态分布时,ML 和 OLS 将给出不同的答案(但如果真实分布接近正态分布,则答案将相似)。

有限样本的唯一区别是,残差方差的 ML 估计器是有偏差的。它不考虑模型中使用的回归量的数量。