如何在 HDFS 中将 DataFrame 保存为 CSV？
我正在尝试这个：
df.groupBy("Product_ID").agg(collect_list($"Stock")).saveAsTextFile("PATH/results.csv")
值 saveAsTextFile 不是 org.apache.spark.sql.DataFrame 的成员
数据挖掘
阿帕奇火花
斯卡拉
2022-02-19 20:32:07
3个回答
这不是 DataFrames API 的标准部分。您可以将其映射到 RDD，将行条目连接到字符串并保存，或者更灵活的方法是使用可以在此处找到的 DataBricks spark-csv 包。
如果它只是一列，您可以将其映射到 RDD 并调用.saveAsTextFile(filename)
你很近！你只是缺少一个.rdd！试试这个：
df.groupBy("Product_ID").agg(collect_list($"Stock")).rdd.saveAsTextFile("PATH/results.csv")
df.rdd.saveAsTextFile("xyz")是正确的答案
其它你可能感兴趣的问题