theano 可以在 mapreduce 或 spark 上工作吗?

数据挖掘 机器学习 深度学习 阿帕奇火花
2021-09-26 06:31:03

我不确定 Theano 库是否可用于在 map reduce 或 spark 中编写并行代码。欢迎任何专家意见。讨论在: Theano-dev

2个回答

我认为 theano 还没有 spark 支持,但是至少有 2 个深度学习库可以很好地支持它。第一个是mxnet,它们支持 spark、R、python 和 C++。另一种选择是deeplearning4j,它是用 Java 制作的,可以直接访问 Spark。

我不认为对 theano 的 Map-Reduce 或 Spark 有任何支持,但如果你想在分布式环境中运行它,你可以参考这篇关于使用 theano 和 MPI 的技术报告。

PS:上述报告的作者已经发布了相同的代码。你可以在这里找到它。