PySpark在创建包含现有列名的新列时读取多个文件-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

PySpark在创建包含现有列名的新列时读取多个文件

社区小助手

2018-12-12 18:13:11

1221

我想使用pyspark 读取n个 csv文件。csv具有相同的模式，但具有不同的列名称。

在阅读这些文件时，我想创建一个包含第一列名称的子字符串的附加列“管道”。

我该如何实现呢？

df = spark.read.format("csv") \

            .option("header", True) \
            .load(path + "*.csv")
            .withColumn("pipeline",

取消提交回答

全部回答(1)

社区小助手

2019-07-17 23:20:15

"df = spark.read.format(""csv"") \

            .option(""header"", ""false"") \
            .load(path + ""*.csv"")
            .toDF('header_1')
            .withColumn(""pipeline"", lit(path))"

0 0

云计算

使用钉钉扫一扫加入圈子

+ 订阅

时时分享云计算技术内容，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。