以紧凑的方式存储数字数据的最佳方式,同时让 GnuPlot 等工具可以访问它?

计算科学 软件 数据分析
2021-12-04 02:59:08

我的模拟是用 C++ 编写的,为我尝试模拟的每组参数生成大量(大约 500 个)文本文件,每个文件中有四列约 5k 双值。此外,为了跟踪使用的参数,我在文件名中打印所有使用的参数,然后是当前文件号。这样便于跟踪,但是我添加的参数越多,文件名越长越复杂。
因此,我正在寻找一种使其更紧凑的方法。我想到的一种方法是使用 HDF5 之类的数据库,它允许我将所有内容放入一个文件中,同时保留有关模拟参数的信息。但之后我想使用 GnuPlot 之类的工具绘制单个文件,需要再次解包数据,我想避免这种情况。
我看到的另一种方法是使用 Sumatra ( http://neuralensemble.org/sumatra/ ),但我的程序将在 HPC 集群上运行,我不知道有可能将 Sumatra 与 slurm 所需的作业脚本结合起来,和 slurm 本身。
因此,我可以使用其他选项吗?

1个回答

如果您的数据整洁,您应该能够将所有内容存储在一张表中并从中绘制看看这篇论文,它只有大约 20 页。