我是apache spark的新手。
是否可以在没有 hadoop 的情况下配置多集群 spark？
如果是这样，请您提供步骤。我想在 Google Compute Engine 上创建集群（1-master，1-worker）
如何在没有 hadoop 的情况下在 Google Compute 引擎上设置多集群 Spark
数据挖掘
大数据
apache-hadoop
斯卡拉
2021-09-25 20:56:28
1个回答
正如@Emre 在评论中所解释的那样，github 上有一个 python 脚本，您可以使用它来设置您喜欢的任何大小的集群：Google Compute Engine 上的 Spark Cluster | 伊多格林。它允许您指定用于工作人员（从属）的实例类型以及分别用于主服务器的实例类型。
请注意，它使用 gcutil，已弃用它以支持gcloud compute