开发者社区 问答 正文

写到hive很多小文件,貌似这两个参数没起作用" 'auto-compaction' #Flink

写到hive很多小文件,貌似这两个参数没起作用" 'auto-compaction'= 'true' ," + " 'compaction.file-size' = '128MB'," +有大佬知道啥原因吗?#Flink image.png

展开
收起
黄一刀 2021-01-24 21:14:11 4673 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 写hive的时候这个合并是只能合并一次checkpoint中产生的小文件,不同checkpoint生成的文件是不会合并的,可以适当提高一点checkpoint interval看是否有帮助

    2021-01-24 21:14:45 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论