Excel文件合并不同的标题但相同的数据

数据挖掘 文本挖掘 擅长
2022-02-21 11:52:26

我需要合并来自不同运营经理提供的关于生产力和其他报告的 1000 个 excel 文件的数据。excel文件具有相似的数据,但标题都是自定义的,因为是不同的经理和不同的客户。

例如,经理 A 将拥有 a.xlx,经理 b 将拥有 a.xlx,但每个人的标头会有所不同,尽管里面的数据通常是相同的。每天,所有团队成员都会通过新文件更新 100 个不同的 Excel 文件,例如 a_todays_date.xlx 和经理 b 使用 /a.xlx。

这是可以通过 python ML 库处理的东西吗?

每天合并所有这些数据并保存到数据库的最佳方法是什么。每天的平均数据量约为 15GB。最终目标是创建仪表板。

1个回答

我建议 SSIS(SQL Server 集成服务)。它旨在处理从不同来源收集数据并导出到数据库。您可以设计一个简单的数据流并按计划从 SQL serevr 运行它(在您的情况下每天)