开发者社区> 问答> 正文

NameNode 架构的局限性有哪些?

NameNode 架构的局限性有哪些?

展开
收起
芯在这 2021-12-11 13:52:04 351 0
1 条回答
写回答
取消 提交回答
  • (1)Namespace(命名空间)的限制

    由于NameNode在内存中存储所有的元数据(metadata),因此单个 NameNode 所能存储的对象(文件+块)数目受到 NameNode 所在 JVM 的 heap size 的限制。

    50G 的 heap 能够存储 20 亿(200 million)个对象,这 20 亿个对象支持 4000 个 DataNode,12PB 的存储(假设文件平均大小为 40MB)。

    随着数据的飞速增长,存储的需求也随之增长。单个 DataNode 从 4T 增长到 36T,集群的尺寸增长到 8000 个 DataNode。存储的需求从12PB 增长到大于 100PB。

    (2)隔离问题

    由于 HDFS 仅有一个 NameNode,无法隔离各个程序,因此 HDFS 上的一个实验程序就很有可能影响整个 HDFS 上运行的程序。

    (3)性能的瓶颈

    由于是单个 NameNode 的 HDFS 架构,因此 整个 HDFS 文件系统的吞吐量受限于单个 NameNode 的吞吐量。

    2021-12-11 13:52:25
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载
青团社云原生架构实践—亿级灵活用工平台的架构实践 立即下载