我们正在 AWS 上构建 ML 管道,这显然需要一些繁重的计算组件,包括预处理和批量训练。
大多数管道都在 Lambda 上,但众所周知,Lambda 对作业的运行时间有时间限制(约 15 分钟)。因此,对于长期运行的作业,例如 ML 模型的批量训练,我们需要(?)访问 EC2 实例之类的东西。例如,可以调用一个 lambda 函数,然后启动一个 EC2 实例来处理训练。
是否有任何替代方案可以使用 EC2 进行繁重的计算?有没有办法在不利用任何 EC2 进行计算的情况下仍然在 AWS 上托管/运行作业?
这个想法是为了避免 EC2 附带的额外管理,因为我们目前没有使用它。让所有广告尽可能接近 Lambda 是理想的。