开发者社区> 问答> 正文

spark DataFrame写入HDFS怎么压缩

社区小助手 2019-03-18 15:45:57 554

spark DataFrame写入HDFS怎么压缩?写成txt文件的格式

分享到
取消 提交回答
全部回答(1)
  • mrztest
    2019-07-17 23:31:09

    (1)  spark textFile加载多个目录:
      其实很简单,将多个目录(对应多个字符串),用,作为分隔符连接起来
       val inputPath = List("hdfs://localhost:9000/test/hiveTest", "hdfs://localhost:9000/test/hiveTest2")
                        .mkString(",")
      sparkContext
          .textFile( inputPath )
    (2) spark  rdd  saveAsTextFile 输出到HDFS 文件压缩
        rdd.saveAsTextFile( "hdfs://localhost:9000/test/out" ) //正常不压缩
        rdd.saveAsTextFile( "hdfs://localhost:9000/test/outGzip", classOf[ GzipCodec ] )    //Gzip压缩输出
        rdd.saveAsTextFile( "hdfs://localhost:9000/test/outBzip2", classOf[ BZip2Codec ] )  //bzip2 压缩输出
      hadoop 文件压缩格式对比:http://www.echojb.com/web-application-server/2017/07/10/449381.html


    test

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程