Mahout Spark shell 不工作

数据挖掘 阿帕奇火花 apache-hadoop apache-mahout
2022-02-22 06:51:07

我安装了 Hadoop、Mahout 和 Spark。我能够看到 Hadoop 和 Spark MasterWebUI。此外,我还可以运行以下命令,

[hadoop@muildevcel01 mahout]$ bin/mahout

但是,我们尝试运行我在以下问题中运行的 spark-shell,

[hadoop@muildevcel01 mahout]$ bin/mahout spark-shell

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/repl/SparkILoop
        at org.apache.mahout.sparkbindings.shell.Main.main(Main.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.repl.SparkILoop
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 1 more

问题

有什么建议可以解决我的问题吗?

1个回答

SPARK_HOME未设置环境变量时,此错误很常见。

在壳型export SPARK_HOME=/path/to/your/spark