为什么要为低秩近似而烦恼?

机器算法验证 r 矩阵 近似
2022-01-26 22:48:50

如果你有一个 n 行 m 列的矩阵,你可以使用 SVD 或其他方法来计算给定矩阵的低秩近似

但是,低秩近似仍然有 n 行和 m 列。考虑到您留下相同数量的特征,低秩近似如何对机器学习和自然语言处理有用?

4个回答

X的低秩近似分解为矩阵平方根为其中的特征分解为,从而减少了特征的数量,可以用基于 rank-r 近似表示为注意下标X^XG=Urλr12XUλUTGX^=GGTr 表示近似中使用的特征向量和特征值的数量。因此,它确实减少了表示数据的特征数量。在某些示例中,在正交性、非负性(非负矩阵分解)等特殊约束下,低秩近似被认为是原始数据的基于或潜在变量(字典)的扩展。

低秩逼近点不一定只是为了进行降维。

这个想法是,基于领域知识,矩阵的数据/条目将以某种方式使矩阵低秩。但这是在条目不受噪声、损坏、缺失值等影响的理想情况下。观察到的矩阵通常具有更高的秩。

因此,低秩近似是一种恢复“原始”(在被噪声等弄乱之前的“理想”矩阵)低秩矩阵的方法,即找到最一致的矩阵(就观察到的条目而言)与当前矩阵,并且是低秩的,因此它可以用作理想矩阵的近似值。恢复了这个矩阵后,我们可以用它来代替嘈杂的版本,并希望得到更好的结果。

到目前为止没有提到的另外两个原因:

  1. 减少共线性。我相信这些技术中的大多数都消除了共线性,这有助于后续处理。

  2. 我们的想象力是低级的,因此它有助于探索低级关系。

一旦确定了近似值的等级(例如),您将只保留基向量以供将来使用(例如,作为回归或分类问题中的预测器),而不是原始r<mrm