你把苹果和橙子混为一谈了。没关系，因为它们都很好吃。

最大似然估计是关于你最小化什么，梯度下降是关于你如何最小化它。

为什么不使用 MLE 进行线性回归？

事实上，线性回归是通过最大似然估计来解决的。标准的“最小化误差平方和”方法在数学上完全等同于使用条件正态分布的最大似然估计。

为什么不对逻辑回归进行梯度下降？

您可以通过使用梯度下降最小化似然函数来完全解决逻辑回归。事实上，这是一项很棒的练习，我建议每个人至少做一次。

梯度下降不是标准方法。该奖项授予迭代重新加权最小二乘法/牛顿法，这是对梯度下降的一种增强，它也考虑了二阶导数。事实证明，这种方法比梯度下降具有更好的特性，但更难理解和实现。