(1)Namespace(命名空间)的限制
由于NameNode在内存中存储所有的元数据(metadata),因此单个 NameNode 所能存储的对象(文件+块)数目受到 NameNode 所在 JVM 的 heap size 的限制。
50G 的 heap 能够存储 20 亿(200 million)个对象,这 20 亿个对象支持 4000 个 DataNode,12PB 的存储(假设文件平均大小为 40MB)。
随着数据的飞速增长,存储的需求也随之增长。单个 DataNode 从 4T 增长到 36T,集群的尺寸增长到 8000 个 DataNode。存储的需求从12PB 增长到大于 100PB。
(2)隔离问题
由于 HDFS 仅有一个 NameNode,无法隔离各个程序,因此 HDFS 上的一个实验程序就很有可能影响整个 HDFS 上运行的程序。
(3)性能的瓶颈
由于是单个 NameNode 的 HDFS 架构,因此 整个 HDFS 文件系统的吞吐量受限于单个 NameNode 的吞吐量。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。