为什么截断 SVD 的重构误差等于奇异值平方和?

机器算法验证 svd 近似
2022-04-10 22:24:20

我在教科书中看到了这个公式:原始矩阵的平方 Frobenius normX减去其截断的 SVDXk(可以看作是近似误差)等于奇异值的平方和。

在此处输入图像描述

这是为什么?如何证明?

1个回答

X=UΣV
是的 SVDn×r矩阵X. ||||在正交变换(反射和旋转)下左右不变的任何矩阵范数;也就是说,每当P是一个n×n正交矩阵或Q是一个r×r正交矩阵,则

||PXQ||=||X||.

然后,根据 SVD 的定义,正交性UV意味着

||U(XA)V||2=||ΣUAV||2.

自从A被制定为UAV与第一个一致的对角矩阵k对角矩阵的条目Σ, 右手边就是平方范数Σ在那些之后k对角线条目已被清零。

对于 Frobenius 范数(其平方是其参数的平方项之和),这个归零副本的平方范数Σ是其剩余条目的平方和,精确地

||ΣUAV||2=j=k+1rδj2.

但是 Frobenius 范数显然在正交矩阵的左乘和右乘下是不变的,因为根据定义,正交性意味着保留欧几里德范数和 Frobenius 范数(当平方时)都是(a)行的平方欧几里德范数之和(因此在左乘法下是不变的,它保留了每一行范数)和(b)列的平方欧几里德范数之和(因此在右乘法下是不变的,它保留了每一列范数)。