我正在研究 SVD 的定义,并试图了解需要满足哪些条件才能使用它。
- 关于我要应用 SVD 的数据分布是否有任何假设?
- 条件(数据向量的数量 > 向量空间的维度)是否严格?还是总有办法使用 SVD 分解数据集?在 SVD 的定义中,我能找到的所有网站都以相同的条件开始,无需担心解释:
给定一个实矩阵 A 与, A 可以写成...
我正在研究 SVD 的定义,并试图了解需要满足哪些条件才能使用它。
给定一个实矩阵 A 与, A 可以写成...
SVD是分解矩阵的操作进入矩阵产品, 在哪里和是酉矩阵 (等),以及是对角线。
所以正式的答案是:
现在是不太正式的部分。
在数据挖掘中,SVD 有两个主要应用:计算(如矩阵求逆、最小二乘等)和降维(例如压缩推荐系统中的用户项目矩阵)。对于计算,只有 SVD(如上所示)的代数性质很重要。
为了降维,使用截断的 SVD:被丢弃,并且只有最大的被保留。这个操作相当于找一个维超平面,使得数据的投影() 在这个超平面上最接近原始数据(以欧几里得距离)。
在最后一种情况下,分析师希望分解能够很好地推广到看不见的数据,并且这个问题可以用概率语言很好地表述。如果我们说包括独立身份证维随机变量,那么如果它们是联合正态的,那么 SVD 似乎效果最好。那是因为:
一个。多元正态分布实际上几乎是一个超平面,并且
湾。对于多元正态,欧几里得距离与概率密度紧密相关。因此,截断的 SVD(或 PCA,在数学上是相同的)可以被视为多元正态分布的最大似然估计,其中独立的组件。有关详细信息,请参阅Bishop 的文章。