为什么我们需要 NMF 的正则化项而不是 SVD?

机器算法验证 正则化 svd 矩阵分解 非负矩阵分解
2022-04-10 19:34:13

在非负矩阵分解(NMF)中,一个最小化 Frobenius 范数加上一个正则化项。然而,SVD 只是最小化了 Frobenius 范数。为什么我们需要 NMF 的正则化项而不是 SVD?

1个回答

NMF 并不总是包括正则化——例如,请参阅此处的前两个成本函数。但是,正则化 NMF 可能很有用:

  • 如果您愿意在非负性之外添加额外的约束,您可以生成高度可解释的结构,包括 K-means centroids
  • 如果你想拟合一个 NMF,那么X=LR在哪里LX,该模型是无用的(微不足道的,不适定的,不可识别的),因为您可以设置L等于的零填充版本X并设置R到一个零填充的单位矩阵。在这种情况下,对每个因子矩阵的 L1 惩罚将通过鼓励两个因子做出贡献来提供帮助。对于低维示例,一对 3 比 9 和 1 产生更低的 L1 惩罚。

另一个可能的答案是 SVD 是一个严格的术语,而 NMF 不是。如果您将正则化添加到 SVD,它将不再被称为 SVD,但术语 NMF 的规定性较低。