减小变量空间大小的优化方法名称

计算科学 优化 术语
2021-11-26 09:49:53

我正在处理一个有大量变量需要优化的优化问题——例如让我们称这些变量为x,y, 和z我希望最小化这个功能f(x,y,z). 我使用的优化方法无法一次处理所有变量的优化。相反,我通过一次优化单个变量来简化问题,同时保持其他变量不变。

即我修复y=y0, 和z=z0然后只优化函数x. 这种一维优化产生了一些最优值x. 然后我修复x=x,z=z0, 然后优化y. 我意识到这不一定能为我提供全局最优解决方案,但它应该产生局部最小值。

我想知道这种方法的名称是什么,以及在哪里可以找到有关它的任何信息。另外,如果有更合适的社区要问,请告诉我。谢谢

编辑:优化进行了x, 然后y, 然后z, 然后x,依此类推,直到解收敛。

2个回答

这是坐标下降我相信当梯度下降等其他方法可能太慢时(例如, http ://epubs.siam.org/doi/abs/10.1137/100802001) ,它可以用于非常大规模的问题它应该收敛到局部最小值,但它也需要比梯度下降或牛顿型方法更多的步骤。

您最初描述的方法(在三个变量 x,y,z 中的每一个中仅进行一次迭代优化)不能保证收敛到最优解,除非 F(x,yz) 是可分离为单变量函数的变量。因此,您所描述的在技术上不是一种优化“方法”,而是一种优化“启发式”,类似于算子拆分方法或交替方向隐式(ADI)方法。