假设我可以从以下两个优化问题中选择一个来解决我的问题。哪个选择最快?会有多大的权衡——比如——速度的提高是由许多因素决定的!?
1) 最小化一个矩阵变量中的凸函数 L(X),对矩阵具有正交性约束——在我的情况下,这基本上最终解决了一个特征分解。
2) 用 X 中的单个线性约束最小化相同的凸函数 L(X)。
我知道 2) 应该更快。但是我需要做的工作方向是什么 - 比较速度的改进 - 特别是在使用最快的可用特征求解器 1) 方面 - 解决 2) 的相应最快方法是什么?
详细信息:示例公式 1)的约束下,在
示例公式 2)在单个线性约束下在上最小化在上,其中是已知的 psd 矩阵,是常数(标量)和是具有实数的常数矩阵。因此使凸。
的维度从 5000 x 2 到 50000 x 3 不等。因此,列数并不多。是一个稀疏矩阵,其稀疏程度取决于生成矩阵的核函数的调整参数。从整体上看,稀疏性的范围确实很大,从非常稀疏到不太稀疏,并且取决于数据和问题。
哪个是最快的解决方案,由什么因素决定!?在得出这个结论的同时,你会为每个单独的问题使用的最快的方法是什么?你会从理论方面得出这个结论吗?就问题是如何制定的而言?如果是这样,请也过一遍。