我正在准备luna16用于输入 CNN 模型的数据集，在读取了带注释的 CSV 文件中的所有“.mhd”文件和标签（0、1）之后，我得到了一个内存错误，我知道问题是因为数据尺寸需要很多RAM，我的电脑上没有，有什么解决办法吗？
以 h5py 文件格式存储巨大的数据集
数据挖掘
机器学习
Python
神经网络
深度学习
美国有线电视新闻网
2022-01-30 09:04:38
1个回答
您可以使用h5py文件，但由于它们存储尺寸，它们需要更多的磁盘来存储，并且在获取时您必须提供足够的内存，这在您的情况下是不可能的，因此您必须逐块读取它们。有一种更简单的方法。pandas的输入之一是chunk。尝试使用它。