我想最小化功能:
给定约束:
.
这里:是一个向量 (),是一个大小矩阵,是一个大小的向量和是一个大小矩阵(我们有约束)。
没有约束,这个问题是标准优化问题。我也知道我可以将这个问题简化为二次规划(因为相当于 和)。但我希望这个问题能以更简单的方式解决。
我想最小化功能:
给定约束:
.
这里:是一个向量 (),是一个大小矩阵,是一个大小的向量和是一个大小矩阵(我们有约束)。
没有约束,这个问题是标准优化问题。我也知道我可以将这个问题简化为二次规划(因为相当于 和)。但我希望这个问题能以更简单的方式解决。
一开始我还以为尼古拉斯的回答是对的,然后又看了看这个问题。
对于二次规划 (QP),按照惯例是对称的,并且可以重新表达它,因此不失一般性,假设是对称的。
如果也是半正定的,则局部最优是全局最优,并且 Nicolas 引用的 KKT 条件对于找到全局最优是必要和充分的,因为这种特殊情况下的约束是线性的。
Nicolas 在以下情况下的回答的反例是半正定的,可以通过设置来构造, 并设置和这样的零空间对应于特征空间特征值为零。例如,设置
所以问题变得最小化这样. 然后问题有无限数量的最优解(任何有序对,使得),Nicolas 构造的 KKT 矩阵的形式为
在哪里显然是等级不足的。(琐碎的反例也会出现在不是满秩。)
如果不是半正定的,则问题不再是凸的。KKT 条件仍然是必要的,但不是充分的。
一般来说,凸情况下的 QP 求解器是高效且稳健的,所以我会为这种情况使用一个库。非凸情况是 NP 难的,但仍然有非常好的求解器可用,例如 CPLEX,它为学术界提供免费许可证。
写拉格朗日算子会产生以下最优条件
和 .
改写为矩阵形式,我们有
如果是非奇异的,那么你有一个独特的,最优的对. 否则二次优化问题是无界的或不可行的。
具有线性等式约束的二次优化问题很容易解决,并且是一个标准问题。Nicolas 已经给出了正确的答案,但我想指出,您会发现每个关于优化的教科书都讨论过这个问题。我最喜欢的是 Nocedal 和 Wright 的“数值优化”。