HDF5 多个写入器,一个外部读取器

计算科学 算法
2021-12-19 02:58:30

我有一个应用程序,我想让 3 台不同的机器以高速率写入它们自己独立的 HDF5 文件,但有一种方法可以从外部读取数据并将其组合。HDF5 是一个很好的方法,还是我应该研究另一种格式?

我的主要目的是我有 3 个独立的数据包捕获盒,每个捕获盒的捕获速度约为 10Gbps。它们都过滤了特定的 UDP 消息并丢弃了所有其余的流量。在这些 UDP 消息中,有 3 种不同类型的数据,可以将其视为 C 结构。这些 UDP 消息需要以时间序列格式写入磁盘(可能格式不同),以便我以后可以搜索它们。我的最终目标是能够快速将它们加载到 MATLAB 中,这可能意味着 HDF5,因为那是那里的原生格式。我正在研究 PyTables 和 TsTables,但我不太确定这些是否符合我的要求。PyTables 看起来不像是用于时间序列的,而 TsTables 看起来相当不成熟。

0个回答
没有发现任何回复~