开发者社区> 问答> 正文

sink进hdfs大量小文件的解决方法是什么?

sink进hdfs大量小文件的解决方法是什么?

展开
收起
芯在这 2021-12-10 23:17:40 346 0
1 条回答
写回答
取消 提交回答
  • 去掉round时间系列参数,并将rollSize和rollCount置0,表示不根据临时文件大小和event数量来滚动文件(滚动文件即指将HDFS上生成的以.tmp结尾的临时文件转换为实际存储文件)。当然,也可以调大rollSize参数(如调至100000000,表示100MB滚动文件,单位是bytes)。

    设置a1.sinks.k1.hdfs.minBlockReplicas=1,这样文件会因为所在块的复制而滚动文件。

    2021-12-10 23:18:00
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
HBase源码解析 立即下载
What’s new in Hadoop Common and HDFS 立即下载