开发者社区> 问答> 正文

如何配置spark以便在S3中创建“_ $ folder $”条目?

宋淑婷 2019-04-22 15:24:43 286

当我使用时将数据帧写入S3

df.write
.format("parquet")
.mode("overwrite")
.partitionBy("year", "month", "day", "hour", "gen", "client")
.option("compression", "gzip")
.save("s3://xxxx/yyyy")
我在S3中得到以下内容

year=2018
year=2019
但我想改为:

year=2018
year=2018_$folder$
year=2019
year=2019_$folder$
从S3位置读取的脚本取决于*_$folder$条目,但我还没有找到一种方法来配置spark / hadoop来生成它们。

有关hadoop或spark配置设置的任何想法控制*_$folder$文件的生成?

分享到
取消 提交回答
全部回答(1)
  • 宋淑婷
    2019-07-17 23:33:58

    这些标记是遗留特征; 我认为没有任何东西可以创造它们......虽然它们在实际列出目录时经常被忽略。(即使在那里,它们也会从列表中删除并替换为目录条目)。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程