关于 Octave 数据大小限制的说明

数据挖掘 八度
2022-02-09 17:51:48

在 Coursera 的 ML 课程之后，我刚刚开始研究一个相对较大的数据集。尝试在https://archive.ics.uci.edu/ml/datasets/YearPredictionMSD上工作。使用倍频程梯度下降的线性回归训练和测试集的准确度为 5.2。

我尝试添加所有可能的二次特征（515345 个实例和 4275 个特征），但代码不会停止在我的 HP Pavilion g6 2320tx 中执行，在 Ubuntu 14.04 中有 4GB RAM。

这是否超出了 Octave 的数据大小容量？

1个回答

您的机器上有大约 4GB 的 RAM，而 Octave 是一个内存应用程序。

如果您想使用 515345 个实例和 4275 个功能，假设您使用的是双精度（即 8 字节），则需要 515345*4275*8/1000000/1024 字节 ~ 17.6 GB 的内存。即使您为每个数据点使用 4 个字节，您也需要至少 9 GB 才能进行计算。

在这种情况下，这个问题可能不是 Octave 内存限制。有关 Octave 内存使用的更多详细信息，请参见此处。

其它你可能感兴趣的问题
上一篇历史房价 API 下一篇R脚本在二维空间中生成随机数据集