HDFS 为什么不适合存储小文件？
HDFS 为什么不适合存储小文件？
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
元信息存储在 NameNode 内存中：一个节点的内存是有限的 存取大量小文件消耗大量的寻道时间：类比拷贝大量小文件与拷贝同等大小的一个大文件 NameNode 存储 block 数目是有限的：一个 block 元信息消耗大约 150 byte 内存，存储 1 亿个 block，大约需要 20GB 内存，如果一个文件大小为 10K，则 1 亿个文件大小仅为 1TB（但要消耗掉 NameNode 20GB内存）。
2021-12-04 17:35:54赞同 展开评论
相关问答