我正在寻找一种工具来指定具有 Sun Grid Engine 依赖关系的任意多个作业的管道。我可以自己把东西连接起来,但我希望有更多的声明性和可重用性。
任何人都可以推荐这样的工具,或者是否有人为 SGE 上的计算作业调整了现有的构建系统/依赖管理器?
我正在寻找一种工具来指定具有 Sun Grid Engine 依赖关系的任意多个作业的管道。我可以自己把东西连接起来,但我希望有更多的声明性和可重用性。
任何人都可以推荐这样的工具,或者是否有人为 SGE 上的计算作业调整了现有的构建系统/依赖管理器?
Makeflow使用 Make 语法描述依赖关系。它本身也支持 SGE。
你考虑过grid engine自带的qmake命令吗?有点受限,因为各个子作业不能真正并行,但既然你提到了 make...
Starcluster相当聪明地使用 SGE。它是通过 EC2 使 numpy/scipy 安装/部署操作非常容易的工具套件的一部分。
我们已经不再使用 SGE,因为它目前处于发展阶段。