我有以下数据集的维度：

行数：41174

专栏：439316

矩阵非常稀疏，对此，我想执行降维。我正在使用 Spark 的 computeSVD 函数来执行降维。

但是，我收到一条错误消息

线程“主”java.lang.IllegalArgumentException 中的异常：要求失败：k = 41174 和/或 n = 439314 太大而无法计算特征分解

但是我在以下数据集上运行了相同的 computeSVD，它运行得非常好。

行数：3502

栏目：103301

在这两种情况下，我都将“k”的值传递为行、列的最小值。我无法理解我在这里做错了什么。根据错误，问题出在 K 上。如何解决上述错误。另外，关于如何确定 K 的任何想法？