梯度下降到静止点或累积点

计算科学 优化 迭代法 共轭梯度
2021-12-05 20:15:11

由于某种梯度下降变化,我最近遇到了累积点的概念。找到了以下定义:

一个积累点P是这样的,在 的任何邻域中都有无限个数列项P.

我不确定我是否正确理解了上述定义。由于此时函数的梯度不必为零(0),但在静止点处为零,如果静止点是函数最小化的迭代方法的结果,是否可以说静止点累积点f(), 满足

f(P)f(P1)=0,
在哪里P1是下一次迭代吗?

请注意,振荡的概念增加了混乱。即,它可能不认为P=P1,并且最小化方法在两者之间切换(如果终止是由P)。在这种情况下如何定义累积点?(最后一个是受我遇到的聚类点定义的启发;因此,将理解这三者之间的联系:累积点、振荡、聚类点)

既然这里(定理 8.5)规定了一个收敛序列有一个且只有一个极限点(累加点),那么从振荡的情况下可以得出什么?换句话说,可以说这个序列实际上是不收敛的吗?

1个回答

积累点=聚类点。

如果序列在两个不同点的越来越窄的邻域之间振荡,例如序列xn=(1)nnn+1, 两个点都是序列的累加点。

在优化中,当可以证明迭代序列的每个累积点都是静止点时,局部求解器在实践中通常是可靠的。在有限精度算术中,由于舍入误差,梯度几乎永远不会为零。因此(如果序列是有界的)该方法将始终卡在这些累积点之一附近,因此将返回某个静止点的近似值(如果使用下降法,通常是最小化器)。

静止点是优化函数的属性,如果算法被精确地无限长地执行,理论上生成的序列之一的累积点。计算的是这个理论序列的累积点的近似值。请注意,除了作为累积点的顺序之外,累积点没有任何内在意义。因此,仅当每个累积点都是静止点时,结果才有意义,因为(仅)返回的“解决方案”将是近似静止点。