我正在阅读“Blessing of Dimensionality High dimensional feature and its effective compression for face verification”CVPR 2013。其中一个关键贡献是作者提出了一种新的所谓的“旋转稀疏回归”降维方法。但是,我不知道如何获得以下优化问题的封闭形式解决方案。论文中没有给出细节。有人可以给我一个提示,以在下面推导出以下封闭形式
《维高的祝福……人脸验证》中优化问题的解法
有一个众所周知的问题,叫做正交 Procrustes 问题,
受约束
请注意,目标函数中的范数是 Frobenius 范数,而不是矩阵 2 范数。
对于这个问题,解决方案是
其中具有 SVD
。
这个 Procrustes 问题的解决方案是在很多地方得到的。例如,请参见此处的 Wikipedia 页面:
http://en.wikipedia.org/wiki/Orthogonal_Procrustes_problem
如果你的问题有目标而不是,则可以通过在范数内转置来将问题重写为 Procrustes 问题,
受制于
。
解决方案是
其中具有奇异值分解
。
这与您引用的论文中给出的解决方案完全匹配。
我不认为最小化 2 范数等同于最小化 Frobenius 范数。在我看来,您引用的论文的作者可能混淆了 Frobenius 范数和 2 范数。
在我终于接触到沃森 1993 年的论文之后添加...
看
GA沃森。解决正交 Procrustes 问题的推广。在数值数学的贡献中,世界科学应用分析丛书,世界科学出版社,1993 年。
) 并且矩阵是恒等时,使用 SVD 的经典解决方案相对于 2 范数是最优的——也就是说,我们正在最小化。
否则,Watson 提供了一种迭代算法,该算法需要在每次迭代中求解一个二次规划问题。
我在网上的光谱范数中找不到关于 Procrustes 问题的任何内容,但我觉得与 Frobenius 范数相同的结果应该成立,所以我想出了一些办法。
假设我们给定一个矩阵并希望找到一个正交矩阵最小化 的 SVD ,即 特别是,我们用,因此。
对于任何这样的正交矩阵和任何具有的向量,我们有 并通过插入奇异向量,我们得到 另一方面,特殊选择导致 因此也是谱范数
然而,这并不适用于更普遍的问题根据上面 Brian Borcher 引用的论文:Watson, GA “解决正交 Procrustes 问题的推广”。应用分析世界科学丛书 2 (1993): 413-426