我正在使用 pyspark 读取 csv 文件以从中提取一些信息。我在本地运行 pyspark,不需要分布式计算。相反,我需要一些绘图库,例如 matplotlib 来绘制数据。我知道 pyspark 有一些解决方法,但我发现它非常复杂。
我的问题是:是否有任何替代 pyspark,可能是 python-native,允许查询允许使用 python 库的 csv 文件?
我正在使用 pyspark 读取 csv 文件以从中提取一些信息。我在本地运行 pyspark,不需要分布式计算。相反,我需要一些绘图库,例如 matplotlib 来绘制数据。我知道 pyspark 有一些解决方法,但我发现它非常复杂。
我的问题是:是否有任何替代 pyspark,可能是 python-native,允许查询允许使用 python 库的 csv 文件?
熊猫可以做到。它可以用一行读取 csv 文件,并将数据放入您可以操作的数据框中。