Apache Spark ML 与 Flink ML

数据挖掘 机器学习 阿帕奇火花
2022-02-27 12:59:18

对不起,如果我在错误的社区问我的问题。Spark MLFlink ML以及 Spark 和 Flink之间有什么区别这两个项目都是 Apache 的项目,我想知道为什么 Foundation 有两个类似的项目。

PS 我发现了一些有趣的文章Fast Big Data: Apache Flink vs Apache Spark for Streaming Data 它对我的问题有答案。

PPS Stack Overflow 社区已经讨论过这个问题。主题是Apache Spark 和 Apache Flink 有什么区别

1个回答

Spark 和 Flink 都旨在通过分布式环境批量处理或流式处理数据。

  • Flink 主要被定义为实时处理流数据的能力,被认为是在大规模分布式系统上处理低数据延迟数据和高容错性的良好选择。

  • 然而,Spark 主要用于分布式环境的批处理。

  • 另一方面,Spark 确实有流式 API,但 Flink 正在获得更多的动力来满足这一需求。

  • Flink 可以在本地 JVM、独立、Yarn 和云上使用,类似地 Spark 可以部署在本地、独立、Yarn、Mesos 上。

这两者之间还有很多区别。我在 Quora 上为您的问题找到了一些非常有趣的答案,看看-

希望能帮助到你!