在hadoop1上格式化namenode数据
cd /usr/local/hadoop/bin hdfs namenode -format
在hadoop2 上执行同步namenode元数据
cd /usr/local/hadoop/bin hdfs namenode -bootstrapStandby
至此hadoop2.x hdfs完全分布式 HA 搭建完毕
HA
是双机集群系统简称 提高可用性集群 是保证业务连续性的有效解决方案 一般有两个或两个以上的节点 且分为活动节点及备用节点
在hadoop1上停止业务
stop-dfs.sh
在hadoop1上全面启动业务
cd /usr/local/hadoop/sbin start-all.sh
#启动了 2个namenode hadoop001,hadoop002 Starting namenodes on [hadoop001 hadoop002] #启动了3个datanode hadoop001,hadoop002,hadoop003 #启动了3个journal nodes Starting journal nodes [hadoop001 hadoop002 hadoop003] #启动了ZK Failover Controllers 在hadoop001,hadoop002 Starting ZK Failover Controllers on NN hosts [hadoop001 hadoop002] #启动了3个节点 hadoop001,hadoop002,hadoop003 starting resourcemanager(nodemanager)
科普一下hadoop这几个节点的作用
Namenode
目录管理者 每个集群都有一个 记录实时的数据变化 如果没有它 hdfs无法工作 系统中的文件将全部丢失 就无法将位于不同datanode上的文件块(blocks)重建文件 因此它的容错机制很有必要
负责
- 接受用户请求
- 维护文件系统的目录结构
- 管理文件与block之间的联系
Datanode
文件系统的工作节点 根据客户端或namenode的调度存储和检索 并定期向namenode发送它们所存储的块的列表 集群中的每个服务器都运行着一个datanode后台程序 这个datanode后台程序负责把数据块读写到本地的文件系统