计算科学 - 部分奇异值分解 (SVD) 的内存高效实现 - 吾爱随笔录

计算科学线性代数 Python 参考请求麻木的 svd

2021-11-29 05:41:49

为了减少模型，我想计算与矩阵的最大奇异值相关的左奇异向量 - 比如 20 $A \in \mathbb R^{N,k}$ ，在哪里 $N\approx 10^6$ 和 $k\approx 10^3$ . 不幸的是，我的矩阵 $A$ 将是密集的，没有任何结构。

如果我只是svd从 Python 中的模块调用例程numpy.linalg以获得这种大小的随机矩阵，我会遇到内存错误。这是由于分配 $V\in \mathbb R^{N,N}$ 为分解 $A = VSU$ .

是否有算法可以避免这个陷阱？例如，通过仅设置与非零奇异值相关的奇异向量。

我准备以计算时间和准确性进行交易。

4个回答

如果您只想要几个奇异值/向量，ARPACK应该可以解决问题。SVD 文档不是很好，而且这个分布是最新的。

编辑：如果您想在 python 中执行此操作，SciPy 有一个wrapper。由于您的矩阵很密集，您可以尝试块稀疏行(BSR) 格式。

看看scikit-learn 0.14-rc中的sklearn.decomposition.TruncatedSVD 。（我相信 scikit-learn 的人会关注 stackoverflow.com/questions/tagged/scikit-learn，所以我会在那里提出详细的问题。）

（你有多少内存？10 $^{6+3}$ 双打已经是8G了。）

也许你可以试试这个。

这是 PROPACK 包的 Python 包装器，它实现了大型稀疏矩阵和线性运算符的高效部分奇异值分解。

工作大小当然是可调的。您可以使用 Cython、SWIG 或任何其他包装机制轻松地从 Python 调用 C 函数。

其它你可能感兴趣的问题