计算科学 - 允许椭圆形信任区域的 Python 信任区域优化代码 - 吾爱随笔录 - 问答

允许椭圆形信任区域的 Python 信任区域优化代码

计算科学优化 Python 软件信任区域

2021-11-25 16:25:06

是否有任何高质量的信任区域优化实现

允许非球形椭球信任区域，并且
是用 Python 编写的，还是很容易从 python 调用？

通过非球形椭圆体信任区域，我的意思是每个牛顿步骤解决（或近似解决）以下形式的问题：

\begin{aligned} min_{x} & \frac{1}{2} x^{T} H x + g^{T} p \\ such that & x^{T} C x \leq Δ^{2}, \end{aligned}

$\begin{align}\min_x \quad& \frac{1}{2}x^T H x + g^T p \\ \text{such that} \quad & x^T C x \le \Delta^2, \end{align}$

对于一些对称正定矩阵 $C$ 。矩阵 $C$ 的作用类似于 Hessian 预条件子，并且可能因牛顿迭代而异 - 例如，参见Steihaug 的经典论文。

我环顾四周，还没有找到太多东西。

scipy.optimize 只允许球形信任区域。也就是只能解决 $C=I$
PETSc 中的 Tao 允许您为 CG-Steihaug 步骤从一组固定的预制预处理器中进行选择，但不能使用您自己的自定义预处理器（据我所知）。

1个回答

Optizelle应该能够处理这个问题。它是开源和 BSD 许可的。具体来说，它将解决形式为

\begin{array}{rcl} min_{δ x \in X} & \frac{1}{2} ⟨ H δ x, δ x ⟩ + ⟨ \nabla f (x), δ x ⟩ \\ st & ⟨ δ x, δ x ⟩ \leq Δ^{2} \end{array}

$\begin{array}{rcl} \min\limits_{\delta x \in X} && \frac{1}{2}\langle H\delta x,\delta x\rangle + \langle \nabla f(x),\delta x\rangle\\ \textrm{st} && \langle \delta x,\delta x\rangle \leq \Delta^2 \end{array}$ 其中用户可以定义任意预条件子

P

$P$ 和内积

⟨ \cdot, \cdot ⟩

$\langle \cdot,\cdot\rangle$ . 因此，如果您想要一个非球形的信任区域，请将内积重新定义为更倾斜的东西。小心，因为这也会影响渐变的定义。如果您想要一个将优化迭代更改为优化迭代的预处理器，那很好。求解的 CG 系统将是

P H δ x = - P \nabla f (x) .

$PH \delta x = -P\nabla f(x).$ 从技术上讲，如果想每次迭代都改变内积，这也是可能的，但需要非常小心。有一种称为状态操纵器的机制可以注入任意代码。在优化迭代结束时，您可以注入一些代码来更新您的内积，但您还需要更新缓存的梯度，因为这也会受到影响。

其它你可能感兴趣的问题

上一篇在傅立叶谱法中强制执行非负约束下一篇Matlab中的准蒙特卡罗