名义上，我只是尝试编写一个 bash 脚本（或 Windows 中的 powershell），然后将命令串在一起。但是，这种方法相当脆弱，因为事情会被覆盖，并且如果它是具有长批次的端到端过程。

在将相关任务串在一起时，我倾向于使用像 luigi 或气流这样的工作流包。Luigi 的想法是你可以将每个动作分解为一个任务。每个任务都有三个需要的功能。

1. 要求 - 在此任务运行之前需要存在什么？
2. 输出 - 输出在哪里？
3. 运行 - 任务是什么？

所以基本上你只是链接一堆任务并定义你的运行函数来调用你以前构建的脚本使用类似子进程的东西。在需要时，您将参考最后一步，对于输出，您将指向文件正在写入的位置。

这样做的好处是，如果您的进程在 100 个任务中中断了第 50 个任务，您不必重新运行所有 50 个任务，luigi 将沿着依赖关系树向下走，直到它发现一个未满足的要求。

从 Pytho Luigi调用 R