当牢记什么是最小化或最大化以及优化的工作原理时，这些情况会更清楚地理解。

假设我们有函数处具有局部最小值。优化方法尝试构造收敛到。总是表明，理论上构造的序列收敛到某些函数的局部最小值点。$f$$x_0$$x_i$$x_0$$f$

要在迭代中获得下一个候选可能是一个漫长的过程，因此通常所有算法都会限制迭代次数。这对应于情况4。$i$

然后对于每个接近 ，我们都有。所以如果这表明我们达到了最小值。这对应于情况3$x$$x_0$$f(x)>f(x_0)$$f(x_i)>f(x_{i-1})$

现在，如果函数处具有导数，则必然。Newton-Raphson 方法在每一步都计算梯度，因此如果，可能是一个解，它对应于情况1。$f$$x_0$$\nabla f(x_0)=0$$\nabla f(x_i)\approx 0$$x_i$

实向量的每个收敛序列都是柯西序列，反之亦然，大致意思是如果 接近，则接近，反之亦然，其中是迭代次数。所以如果，并且我们知道理论上收敛到，那么我们应该接近最小点。这对应于情况2。$x_i$$x_0$$x_i$$x_{i+1}$$i$$|x_i-x_{i-1}|<\varepsilon$$x_i$$x_0$

收敛序列具有它们收缩的特性，即如果我们接近收敛，则序列的所有剩余元素都包含在小范围内。因此，如果理论上应该收敛的序列开始采取较大的步骤，这表明可能没有收敛。这对应于情况5

注意有意省略了严格的数学定义。