1、JobTracker访问压力大,影响系统扩展性(资源、计算)
2、难以支持除MapReduce之外的计算框架(Spark、Storm)
单点故障: HDFS HA:通过增加NameNode解决
内存受限问题: HDFS Federation—水平扩展,支持多个NameNode,每个NameNode分管一部分目录,所有NameNode共享所有DataNode存储资源——不需要广播,所有的DataNode向两个NameNode汇报数据块信息
注意: DataNode和副本不可能出现在一起,因为如果Datanode挂掉之后,副本也会跟着挂掉,也就失去了HDFS的高容错性 针对Federation的搭建——同步公用机制 针对fsimage 使用同步机制—因为fsimage的数据量大,如果使用共用机制的话,处理不过来—节约资源 针对edits 使用共用机制——因为edits的数据量小
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。