到目前为止，数值稳定性是使用对数似然而不是似然的最重要原因。仅凭这个原因就足以选择对数似然而不是似然。另一个让我想到的原因是，如果有一个分析解决方案，那么使用对数似然法通常更容易找到。

似然函数通常是每个观测值的似然贡献的乘积。由于乘积规则，取其导数将很快导致无法管理的交叉乘积项的数量。原则上这是可能的，但我不想成为跟踪所有这些条款的人。

对数似然将个体贡献的乘积转换为贡献的总和，由于总和规则，这更易于管理。

当粗麻布，即二阶导数矩阵是正交的（直到比例因子..不记得术语）时，梯度下降工作（最好）。换句话说，误差表面是二次的并且在所有方向上都是相同的。请记住，步长不是梯度下降中 err 曲面的函数。如果二阶导数快速变化（例如指数函数），那么收敛会很慢......对于高曲率和太小的区域，固定步长将太大而太小对于低曲率区域。因此，我会声称，对于许多典型分布（例如正态），采用对数似然可以使您的优化表面更接近恒定曲率。
我解决这个问题的方法是进行泰勒级数展开并考虑使用梯度下降不断降低误差表面的要求。你最终（从内存中）选择步长作为误差表面的 1/最大特征值（超过优化区域）