在双精度下，包含 20,000 个变量的 20,000 个方程的系统将需要 3.2 GB 的 RAM 来存储矩阵。按照当代标准，这并不“大”，并且在实践中相当容易解决。

为了让它运行得更快，您需要使用经过良好调整的线性代数库。此类工作的标准是使用 LAPACK 和 BLAS 例程，以及经过良好调整的多线程实现 BLAS。您将使用 LAPACK 中的 Cholesky 分解例程来计算 Cholesky 分解，然后使用其他 LAPACK 例程进行正向和反向求解。

在 MATLAB 环境中，最好的办法是搭载 MATLAB。Mathworks 为 MATLAB 提供高效的 BLAS/LAPACK 例程并处理任何许可问题。您可以从 MEX 例程中调用这些例程。

在 Octave 中，您应该希望安装 Octave 时附带一个良好的多线程 BLAS。尽管它们不如 Intel 的 MKL 或 AMD 的 ACML 库（它们不是开源的）那么好，但是有包括 Openblas 和 ATLAS 在内的开源替代品。

如果您正在为 SDP 实现原始对偶内点法，您应该知道需要一些特殊技巧才能使 Cholesky 分解工作良好。您还应该知道，在许多情况下，方程组实际上并不密集，因此值得使用稀疏的 Cholesky 因式分解例程。

如果矩阵是对称且正定的，则​​共轭梯度法是可证明最快的迭代法，需要$O(\sqrt\kappa)$迭代收敛。根据您的矩阵的条件恶劣程度，这可能比使用像Cholesky 分解这样的直接方法来解决您的系统更有利。您可能需要某种预处理器，其选择取决于您的问题的性质。

一个 20,000 x 20,000 的密集矩阵越来越接近 32 位机器可以处理的极限。仅存储该矩阵将需要 3.2 GB 内存。许多迭代方法所需要的只是能够计算矩阵向量积$A\cdot x$; 对于某些问题，这可以在不显式创建矩阵的情况下完成$A$逐项进入。如果你能够为你的问题做到这一点，我认为它会大大加快速度。

如果做不到这一点，我认为如果你想要良好的性能，你将需要使用多线程和优化的 BLAS/LAPACK 实现，如ATLAS 。您可能还想查看Elemental库，它执行分布式密集线性代数并具有 C 接口。