HDFS小文件处理问题的HAR文件方案是怎么实施的？
HDFS小文件处理问题的HAR文件方案是怎么实施的？
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
HAR文件方案：
为了缓解大量小文件带给namenode内存的压力，Hadoop 0.18.0引入了HadoopArchives(HAR files)，其本质就是在HDFS之.上构建一个分层文件系统。通过执行hadooparchive命令就可以创建一一个HAR文件。 在命令行下，用户可使用一个以har://开头的URL就可以访问HAR文件中的小文件。使用HAR files可以减少HDFS中的文件数量。
2021-12-05 15:57:43赞同 展开评论
相关问答