开发者社区> 问答> 正文

Hadoop的HA方案涉及的实现逻辑是什么?

Hadoop的HA方案涉及的实现逻辑是什么?

展开
收起
真的很搞笑 2021-12-05 23:27:27 350 0
1 条回答
写回答
取消 提交回答
  • 1) 主备需共享edit log存储。 主NameNode和待命的NameNode共享一份edit log,当主备切换时,Standby通过回放edit log同步数据。

    2)DataNode需要同时往主备发送Block Report 因为Block映射数据存储在内存中(不是在磁盘上),为了在Active NameNode挂掉之后,新的NameNode能够快速启动,不需要等待来自Datanode的Block Report,DataNode需要同时向主备两个NameNode发送Block Report。

    3)客户端需要配置failover模式(对用户透明) Namenode的切换对客户端来说是无感知的,通过客户端库来实现。客户端在配置文件中使用的HDFS URI是逻辑路径,映射到一对Namenode地址。客户端会不断尝试每一个Namenode地址直到成功。

    4)Standby替代Secondary NameNode 如果没有启用HA,HDFS独立运行一个守护进程作为Secondary Namenode。定期checkpoint,合并镜像文件和edit日志。

    2021-12-05 23:28:29
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载