具有线性约束的二次规划与特征分解时间复杂度比较。哪个更快?

计算科学 优化 复杂 凸优化 约束 二次规划
2021-12-18 22:20:03

假设我可以从以下两个优化问题中选择一个来解决我的问题。哪个选择最快?会有多大的权衡——比如——速度的提高是由许多因素决定的!?

1) 最小化一个矩阵变量中的凸函数 L(X),对矩阵具有正交性约束——在我的情况下,这基本上最终解决了一个特征分解。

2) 用 X 中的单个线性约束最小化相同的凸函数 L(X)。

我知道 2) 应该更快。但是我需要做的工作方向是什么 - 比较速度的改进 - 特别是在使用最快的可用特征求解器 1) 方面 - 解决 2) 的相应最快方法是什么?

详细信息:示例公式 1)的约束下,Tr(XTAX)XXTX=I

示例公式 2)在单个线性约束下上最小化上,其中是已知的 psd 矩阵,是常数(标量)是具有实数的常数矩阵。因此使凸。Tr(XTAX)XTr XTC=bXAbR+CTr(XTAX)

的维度从 5000 x 2 到 50000 x 3 不等。因此,列数并不多。是一个稀疏矩阵,其稀疏程度取决于生成矩阵的核函数的调整参数。从整体上看,稀疏性的范围确实很大,从非常稀疏到不太稀疏,并且取决于数据和问题。XAA

哪个是最快的解决方案,由什么因素决定!?在得出这个结论的同时,你会为每个单独的问题使用的最快的方法是什么?你会从理论方面得出这个结论吗?就问题是如何制定的而言?如果是这样,请也过一遍。

2个回答

对于对称正定矩阵,问题服从可以通过引入拉格朗日乘数并将拉格朗日的梯度设置为零来解决. 结果是 ,其中将其插入约束得到乘数由于只有几列,因此主要的工作是计算,这意味着求解具有几个右手边的固定正定矩阵。(如果有个线性约束,最终会得到AminTr XTAXTr XTC=b[R+]X=λZZ=A1Cλ=b/Tr CTA1CCZss×s乘向量的系统。)
的稀疏性使得在重新排序时可以计算 Cholesky 因子,因此然后求解给出解,其中(在 Frobenius 范数中)。如果分解太昂贵,则需要使用共轭梯度。ARA=RTRRTY=CRZ=YX=λZλ=b/||Y||2

对于对称和正定矩阵,问题服从被解决(对于矩阵)通过将对应于最小的特征值可以因式分解时,计算成本会更高,但如果因式分解不可行,Lanczos 迭代将具有与其他问题相当的复杂性,并且具有的列越多,这将变得更好。GminTr XTGXXTX=1m×nXXnGAX

的线性约束下最小化显然比在二次约束下最小化它更简单。您可以一步完成前者 - 解决方案只是单个线性鞍点问题的解决方案。Tr(XTAX)X