开发者社区> 问答> 正文

sink进hdfs大量小文件是因为什么原因?

sink进hdfs大量小文件是因为什么原因?

展开
收起
芯在这 2021-12-10 23:16:38 344 0
1 条回答
写回答
取消 提交回答
  • 官方默认的这三个参数配置写入 HDFS 后会产生小文件,hdfs.rollInterval、hdfs.rollSize、 hdfs.rollCount;

    比如hdfs.rollInterval=3600,hdfs.rollSize=134217728 , hdfs.rollCount =0,hdfs.roundValue=3600,hdfs.roundUnit=second在这几个参数的综合作用下,效果如下:

    tmp 文件在达到 128M 时会滚动生成正式文件;

    tmp 文件创建超 3600 秒时会滚动生成正式文件

    举例:在 2020-04-03 06:26 的时侯 sink 接收到数据,那会产生如下 tmp 文件: /rople/20200403/file.202004030626.tmp 即使文件内容没有达到 128M,也会在07:26时滚动生成正式文件。

    2021-12-10 23:17:03
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
HBase2.0重新定义小对象实时存取 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载