Quasi-Newton 方法为任意平滑目标函数构造近似 Hessian$f(x)$使用的值$\nabla f$在当前点和以前的点进行评估。在该方法的每次迭代中，准牛顿近似 Hessian 矩阵使用在最近一次迭代中评估的梯度进行更新，$x^{(k)}$. 这些近似的 Hessian 不一定是对实际 Hessian 的非常好的近似$f$，但它们足够好，您可以使用它们在优化算法中获得良好的搜索方向。准牛顿方法有很多，其中最流行的可能是 BFGS（Broyden-Fletcher-Goldfarb-Shanno。）

Gauss-Newton 方法是一种近似牛顿方法，仅适用于可以表示为平方和的目标函数

$f(x)=\sum_{i=1}^{m} f_{i}(x)^{2}$

对于这种特殊形式的目标函数，如果你让$J(x)$(雅可比行列式) 是一阶偏导数的矩阵$f_{i}(x)$关于$x_{j}$， 然后让$F(x)$成为的向量$f_{1}(x)$,$f_{2}(x)$,$\ldots$,$f_{m}(x)$， 然后

$\nabla f(x)=J(x)^{T}F(x)$

和

$\nabla^{2} f(x) \approx 2J(x)^{T}J(x).$

Gauss-Newton 方法（和 Levenberg-Marquardt 方法）在牛顿方法中使用这种近似 Hessian 和精确梯度。

Gauss-Newton方法中的近似Hessian与拟牛顿近似Hessian（BFGS、DFP等）的类型不同。

请注意，可以将 BFGS 等准牛顿方法应用于非线性最小二乘问题，但不能将高斯牛顿方法应用于最小化一般函数$f(x)$.