我经常处理大小合理的时间序列数据,50-2 亿个带有相关时间戳的双精度数据,并希望动态地可视化它们。
是否有现有的软件可以有效地做到这一点?库和数据格式怎么样?Zoom-cache是专注于大时间序列的库的一个例子。在 Zoom-cache 中,数据以多种分辨率进行汇总,以便以不同的分辨率查看。
编辑:另外,如果还有其他地方我应该问这个问题或寻求答案,请告诉我。
我经常处理大小合理的时间序列数据,50-2 亿个带有相关时间戳的双精度数据,并希望动态地可视化它们。
是否有现有的软件可以有效地做到这一点?库和数据格式怎么样?Zoom-cache是专注于大时间序列的库的一个例子。在 Zoom-cache 中,数据以多种分辨率进行汇总,以便以不同的分辨率查看。
编辑:另外,如果还有其他地方我应该问这个问题或寻求答案,请告诉我。
对不起,自我广告,但 Thunderplot (thunderplot.com) 将是它的好候选人。我正是为大型数据集的交互式绘图而编写的。我没有用 200KK 行数据集对其进行测试,但它在 ~10KK 行上运行良好。还有“每第 N 行读取一次”功能,因此您可以减少要存储/可视化的数据量。我可以将注册密钥发送给您,以换取其中一个大型数据集。:-)
有一组名为TimeSearcher 1--3的研究工具提供了一些如何处理大型时间序列数据集的示例。下面是来自 TimeSearcher 2 和 3 的一些示例图像。
另一个自我推销的帖子,因为我在这家公司工作,但 SensorCloud (sensorcloud.com) 使用智能算法非常快速地绘制大量数据集。它最初在设计时考虑了我们的物理传感器,但它有一个 CSV 上传器来处理任何时间序列数据。
例如,我们上传了一个包含 1000 亿个数据点(超过 1 TB 的时间戳 + 数据值)的数据集,您可以对其进行图形化并非常快速地与之交互。
这是该数据集的公共链接: https ://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/
上面的链接使用我们的 Flash 查看器。如果您不想使用闪存,这里是 javascript 查看器:https ://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/
使用滚轮或 Shift+左键单击放大。