机器算法验证 - 高斯模型中最小二乘与 MLE 的等价性 - 吾爱随笔录

机器算法验证回归贝叶斯最小二乘

2022-02-03 00:51:34

我是机器学习的新手，正在尝试自己学习。最近我正在阅读一些讲义，并有一个基本问题。

幻灯片 13 说“最小二乘估计与高斯模型下的最大似然估计相同”。看起来这很简单，但我看不到这一点。有人可以解释一下这里发生了什么吗？我有兴趣看到数学。

稍后我还将尝试查看 Ridge 和 Lasso 回归的概率观点，因此，如果有任何对我有帮助的建议，我也将不胜感激。

1个回答

在模型中

$Y = X \beta + \epsilon$

在哪里 $\epsilon \sim N(0,\sigma^{2})$ , 的对数似然 $Y|X$ 对于一个样本 $n$ 科目是（最多一个附加常数）

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

仅被视为一个函数 $\beta$ , 最大化器正是使最小化的那个

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

这是否使等价性清楚？

其它你可能感兴趣的问题