开发者社区 问答 正文

hadoop中数据输入小文件处理方法有哪些?

hadoop中数据输入小文件处理方法有哪些?

展开
收起
游客qzzytmszf3zhq 2021-12-08 21:55:52 375 分享 版权
1 条回答
写回答
取消 提交回答
  • 合并小文件:对小文件进行归档(Har)、自定义Inputformat将小文件存储成SequenceFile文件。

    采用ConbinFileInputFormat来作为输入,解决输入端大量小文件场景

    对于大量小文件Job,可以开启JVM重用

    2021-12-08 21:56:02
    赞同 展开评论