用于深度学习的 Git - 版本控制/跟踪机器学习实验的最佳工具是什么?

数据挖掘 机器学习 Python 数据集 大数据 可视化
2021-10-09 19:31:43

我正在寻找一种工具来跟踪机器学习中的几个实验/迭代的结果。

训练模型可能需要数天/数周,因此跟踪其性能并能够轻松复制结果并回滚到以前的版本至关重要。我正在寻找一种工具,它可以像 git 一样使过程变得简单和流线化,用于版本控制。


有用的功能是:

  • 具有允许商业应用的许可证的开源
  • 自托管 [所有信息都应保存在我们拥有的计算机上]
  • 对 python 友好(理想情况下,也对 tensorflow 友好)
  • 可以存储超参数值以及对特定数据集的引用(后者可用于跟踪硬负挖掘的效果等)
  • 集群友好
  • 包括基本绘图(可视化学习曲线很有用)
  • 对多个数据集进行自动测试
  • 用户跟踪 [如 git 中的“责备”]
3个回答

一种这样的工具是Polyaxon我正在广泛使用它,它确实有助于实验流程。

它具有实验队列、超参数调整、集群、可以自托管或在云上、绘制指标、独立于框架等功能......

我绝对推荐它。

Deepkit它是用于机器学习的开源开发工具。它跟踪实验、版本代码、模型调试器、基础设施和项目管理。它满足您的大部分愿望,是开源的和跨平台的。

您可以完全离线使用它,自托管服务器,或使用云服务器存储您的实验数据。

披露:我是作者。

在这方面一个有用的工具是权重和偏差,它涵盖了您描述的功能。它不是开源的,只能免费供个人使用。它旨在进行实验跟踪,并与其他常用工具很好地集成。

创始人是TWIML AI 播客的近期嘉宾。在播客中,他解释了解决方案的理念,以及可能会在其生态系统中添加哪些其他功能。