测试/训练自动化工具

数据挖掘 特征提取 训练 自动化
2022-02-26 00:38:09

我需要测试不同的数据集以及不同的算法实现。当前的工作流程如下所示:

  • 从训练集中执行特征提取
  • 在此功能上训练分类器
  • 将此分类器提供给生产代码
  • 在测试集上运行生产代码,一个一个地输入样本
  • 获取生产代码的结果并转换为与测试数据集相同的格式
  • 显示统计数据

如何尽可能自动化?我目前使用一堆 bash/python 脚本。我查看了 sklearn 管道,但不确定它们是否会带来任何好处,除了在一行中运行函数。

1个回答

也许对于这个用例来说有点太多了,但我对气流有很好的经验。

这是一个 Apache 项目,对自动化一些东西很有帮助。

否则有很多商业平台可以帮助你。只是谷歌的数据科学平台。