L2范数优化问题

计算科学 优化 约束优化 凸优化 scipy 收敛
2021-12-04 22:59:12

我有一个优化问题,我需要找到一个非常接近 x' 的图像 x,这样:

  1. monitor(x') 有效,但 monitor(x) 无效。(当神经网络输出在特定框的范围内时输出有效)。

  2. x 被神经网络分类为 x'(它们的预测类别相同)。

请注意,x 是具有 (1,28,28,1) 维度的图像,并将其转换为具有暗淡 784 的数组,以便传递给 scipy 求解器。

优化问题表示如下:

Obj 函数:使用约束最小化 (x'- x) 的 L2 范数:

  1. 预测(x的变换图像)=预测(x'的变换图像)

  2. monitor(x) = 0(0 表示无效)

x 是要找到的优化变量,x' 是传递的有效输入

所以我使用 scipy 来解决我的问题,我尝试了局部优化(COBYLA 和 SLSQP)和全局优化(Sgho 和差分进化)。根据我的限制,我认为我的问题是非线性和非凸的。但是一些资源指出,非凸约束并不一定意味着非凸问题。

我读到:https ://www.researchgate.net/post/Identify-if-optimization-problem-is-convex-or-non-convex

“根据问题,您也可以尝试使用求解器解决它,如果问题是非凸的(如 ipopt 或 bonmin,如果您有整数变量),该求解器只会为您提供局部最优值,然后将解决方案与解决方案进行比较全局 MINLP 求解器为 Couenne/BARON/SCIP。如果结果非常不同,则问题可能是非凸的。也可能是某些求解器为您提供有关问题凸性的信息作为输出,但我不确定。”

实际上,局部和全局优化给了我不同的结果,而 sgho 表现最好。然而,并非所有解决方案总能趋同于成功的解决方案,但 sgho 表现最好。我认为这是因为我的非线性和非凸约束。

我对 Sgho 和差分进化的选择好吗?所以我的问题被认为是非凸的吗?

0个回答
没有发现任何回复~