开发者社区 问答 正文

hadoop小文件归档

hadoop小文件有什么好的解决方案? 在Java中怎样实现hadoop Har归档?

展开
收起
clownAdam 2021-08-05 16:44:18 801 分享 版权
1 条回答
写回答
取消 提交回答
  • 专注小程序、APP、网站开发

    生成HAR文件,单个src文件夹: hadoop archive -archiveName 419.har -p /fc/src/20120116/ 419 /user/heipark

    多个src文件夹 hadoop archive -archiveName combine.har -p /fc/src/20120116/ 419 512 334 /user/heipark

    不指定src path,直接归档parent path(本例为“ /fc/src/20120116/ ”, “ /user/heipark ”仍然为输出path) hadoop archive -archiveName combine.har -p /fc/src/20120116/ /user/heipark

    使用模式匹配的src path,下面的示例归档10、11、12月文件夹的数据。这招也是从源码发出来的。 hadoop archive -archiveName combine.har -p /fc/src/2011 1[0-2] /user/heipark

    如果你想开发小程序或者app的话,可以通过第三方专业开发平台,来帮助你实现开发需求:厦门在乎科技-专注**厦门小程序开发**、app开发、网站开发

    2021-08-05 18:43:51
    赞同 1 展开评论