这不是直觉，而是数学。更准确地说，是函数的二次展开。

说你有$f(x)=f(x_n+\Delta x)=f(x_n)+f'(x_n)\Delta x + f''(x_n)\Delta x^2$你想达到一个点$f'(x) = 0$，那么你将使用$\Delta x=-\frac{f'(x_n)}{f''(x_n)}$.

推广到 n 维，$f''$是方程的 Hessian。

所以当然这对于最小二乘非常有效，它只会“工作”接近非二次函数的解决方案。