几个具体的例子：

Quasi-Newton 方法通过使用 Hessian 的近似值来避免计算二阶导数，该近似值在每次迭代时通过低等级（等级一或等级二）更新进行更新。这使得 Hessian 的因式分解（或等效地保持乘积形式的逆）在计算上很容易进行。还有有限的内存准牛顿方法只跟踪最近的一级更新。

用于最小化平方和的 Gauss-Newton 方法利用问题的平方和结构来获得仅涉及一阶导数的 Hessian 近似值（二阶项被删除）。

Levenberg-Marquardt 方法是一种通过正则化在每次迭代中求解的线性系统来稳定 Gauss-Newton 迭代的特殊方法（通过在方程中添加正则化项或使用信任域方法）。

它们是等价的。两者都暗示了线性化求根方法的一些变化。