PySpark在创建包含现有列名的新列时读取多个文件-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

PySpark在创建包含现有列名的新列时读取多个文件

社区小助手 2018-12-12 18:13:11 1221

我想使用pyspark 读取n个 csv文件。csv具有相同的模式,但具有不同的列名称。

在阅读这些文件时,我想创建一个包含第一列名称的子字符串的附加列“管道”。

我该如何实现呢?

df = spark.read.format("csv") \

            .option("header", True) \
            .load(path + "*.csv")
            .withColumn("pipeline", 
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:20:15

    image"df = spark.read.format(""csv"") \

                .option(""header"", ""false"") \
                .load(path + ""*.csv"")
                .toDF('header_1')
                .withColumn(""pipeline"", lit(path))"
    0 0
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

推荐文章