如何在实验期间跟踪模型的性能?

人工智能 神经网络 机器学习 人工智能设计
2021-11-17 03:23:55

在您工作的数周和数月中,许多事情可能会发生变化,例如:

  • 您可以修改损失函数
  • 您的训练或验证数据集可能会发生变化
  • 您修改数据增强

您使用哪些工具或流程来跟踪所做的修改以及它们如何影响模型?

2个回答

也许您正在寻找版本控制系统(如gitGithub)和comet.ml等工具的组合。过去,我使用 comet.ml 来跟踪使用不同超参数或不同版本代码执行的不同实验。comet.ml 还有其他替代品,例如神圣,但它们也可能具有不同的功能,并且可能不像 comet.ml 那样视觉上令人愉悦,甚至是免费的。就个人而言,我喜欢 comet.ml(尽管当时它仍然缺乏一些功能)。无论如何,像 git 这样的 VCS 被广泛用于软件开发(不仅仅是 AI 项目中),以跟踪代码的不同版本等。您可能还对持续集成(例如Travis CI)和代码感兴趣审查(例如codacy)工具。

全面披露:我在开发这项技术的公司 Dessa 工作。

我们构建了一个机器学习实验管理工具,名为 Atlas。主要功能是实验管理,允许您同时运行数千个实验。这可能有助于解决您上面的问题https://github.com/dessa-oss