在数据库中存储工程特征

数据挖掘 数据清理 特征工程
2022-03-06 14:10:32

我有一些原始 csv 文件中的数据,我想将它们存储在 MySQL 数据库中。问题是对该数据集进行了持续的特征工程,因此不可能提出一个模式来满足所有需求。我想到的方法是有一个保存原始数据的主表,并且对于创建的每个新功能,都会创建一个新表。然后,用户可以将原始表与包含他们想要的功能的其他表连接起来,并将其用于自己的目的。

使用上述方法,当用户需要大量功能时,我担心有太多的连接。请就解决此问题的替代方法提出建议。

提前致谢!

1个回答

根据用户的技术水平、更新的频率、转换的复杂性、在用户之间共享这些功能的需要等。为每个用户定制 VIEW 是否是一个可行的解决方案?

或者,您是否会考虑一些 ETL 工具,您可以在其中创建/修改计算列,根据需要自定义数据管道?