假设我要估计我假设的线性回归. OLS 对 ML 估计有什么好处?我知道我们需要知道一个分布当我们使用 ML 方法时,但因为我假设无论我使用 ML 还是 OLS,这一点似乎都无关紧要。因此,OLS 的唯一优势应该在于估计者。或者我们还有 OLS 方法的其他优点吗?
使用 OLS 与 ML 估计线性回归
机器算法验证
回归
最小二乘
线性模型
2022-03-13 12:48:56
3个回答
您正在关注问题中概念的错误部分。最小二乘的美妙之处在于它给出了一个很好的简单答案,而与分布无关,如果真实分布恰好是正态分布,那么它也是最大似然答案(我认为这是高斯-马尔科夫定理)。当您的分布不是正态分布时,ML 和 OLS 将给出不同的答案(但如果真实分布接近正态分布,则答案将相似)。
有限样本的唯一区别是,残差方差的 ML 估计器是有偏差的。它不考虑模型中使用的回归量的数量。