任何人都可以为 SGE 作业推荐管道依赖(“make”)工具吗?

计算科学 高性能计算
2021-12-02 09:12:38

我正在寻找一种工具来指定具有 Sun Grid Engine 依赖关系的任意多个作业的管道。我可以自己把东西连接起来,但我希望有更多的声明性和可重用性。

任何人都可以推荐这样的工具,或者是否有人为 SGE 上的计算作业调整了现有的构建系统/依赖管理器?

3个回答

Makeflow使用 Make 语法描述依赖关系。它本身也支持 SGE。

你考虑过grid engine自带的qmake命令吗?有点受限,因为各个子作业不能真正并行,但既然你提到了 make...

Starcluster相当聪明地使用 SGE。它是通过 EC2 使 numpy/scipy 安装/部署操作非常容易的工具套件的一部分。

我们已经不再使用 SGE,因为它目前处于发展阶段