在 Windows 7 上使用 spark-submit 运行 python 脚本

数据挖掘 阿帕奇火花 pyspark
2022-03-05 03:22:33

我正在尝试在 Windows 7 上使用 spark-submit 提交 python 脚本。我正在使用为 hadoop 2.7 构建的 spark 2.3.0 。python 脚本应该从 csv 文件中读取数据并绘制图形。是否可以使用 spark-submit 运行这样的脚本?在 python 脚本中,我包含了 spark 上下文的这段代码。

import findspark
findspark.init()
import pyspark
from pyspark import SparkContext
APP_NAME = 'kineticPCA'
conf = SparkConf().setAppName(APP_NAME)
conf = conf.setMaster('spark://192.168.xx.xxx:7077')
sc = SparkContext(conf=conf)

这是在命令提示符下提交作业的方式,在 spark bin 目录上

spark-submit G:/guru orders/pca kinetics/files/kineticPCA.py

这是我得到的错误:

错误:无法使用 URI G 从 JAR G:/guru 加载主类。请通过 --class。使用 --help 运行以获取使用帮助或 --verbose 用于调试输出

在此处输入图像描述

此错误的原因可能是什么?

1个回答

使用这个命令 .\bin\spark-submit \guruorders\pcakinetics\files\kineticPCA.py