开发者社区> 问答> 正文

Hadoop 2.0版本采用Yarn可以解决什么问题?

Hadoop 2.0版本采用Yarn可以解决什么问题?

展开
收起
真的很搞笑 2021-12-05 16:06:14 267 0
1 条回答
写回答
取消 提交回答
  • 1、JobTracker访问压力大,影响系统扩展性(资源、计算)

    2、难以支持除MapReduce之外的计算框架(Spark、Storm)

    单点故障: HDFS HA:通过增加NameNode解决

    内存受限问题: HDFS Federation—水平扩展,支持多个NameNode,每个NameNode分管一部分目录,所有NameNode共享所有DataNode存储资源——不需要广播,所有的DataNode向两个NameNode汇报数据块信息

    注意: DataNode和副本不可能出现在一起,因为如果Datanode挂掉之后,副本也会跟着挂掉,也就失去了HDFS的高容错性 针对Federation的搭建——同步公用机制 针对fsimage 使用同步机制—因为fsimage的数据量大,如果使用共用机制的话,处理不过来—节约资源 针对edits 使用共用机制——因为edits的数据量小

    2021-12-05 16:07:04
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多