向火花数据框添加多列

数据挖掘 pyspark 数据框
2022-03-09 05:08:44

我想向 spark(实际上是 pyspark)数据框添加几列,这些列都是 df.xml 中几个输入列的函数。spark中似乎没有'add_columns',并且add_column同时允许用户定义的函数似乎不允许多个返回值 - 所以有人推荐我如何完成这个吗?我宁愿每行只调用一次生成函数 d,e,f=f(a,b,c) ,因为它很昂贵。

0个回答
没有发现任何回复~