临时记录Hadoop 2.x HA cluster

简介:

1.每个节点启动zookeeper 服务

zkServer.sh start

2.每个节点先启动journal node

hadoop-daemon.sh start journalnode

3.在某一台NameNode节点,例如nn1上格式化文件系统,并启动nn1的namenode

#格式化hdfs
 hdfs namenode -format 
#启动当前节点NameNode
 hadoop-daemon.sh start namenode

4.在另一台NameNode nn2上同步nn1的数据,并启动nn2

#从另一台NameNode节点同步数据
 hdfs namenode -bootstrapStandby
#启动当前节点NameNode
 hadoop-daemon.sh start namenode
#每个节点启动DataNode
hadoop-daemon.sh start datanodes

5.在zookeeper中初始化namenode的信息

hdfs zkfc -formatZK

6.停止所有hdfs

stop-dfs.sh

7.启动hdfs文件系统

start-dfs.sh

8.正常的话会启动nn,dn,jn,zkController

[beifeng@hadoop-master ~]$ start-dfs.sh
Starting namenodes on [hadoop-master hadoop-slave1]
hadoop-slave1: starting namenode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-namenode-hadoop-slave1.out
hadoop-master: starting namenode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-namenode-hadoop-master.out
hadoop-slave2: starting datanode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-datanode-hadoop-slave2.out
hadoop-slave1: starting datanode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-datanode-hadoop-slave1.out
hadoop-master: starting datanode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-datanode-hadoop-master.out
Starting journal nodes [hadoop-master hadoop-slave1 hadoop-slave2]
hadoop-master: starting journalnode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-journalnode-hadoop-master.out
hadoop-slave1: starting journalnode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-journalnode-hadoop-slave1.out
hadoop-slave2: starting journalnode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-journalnode-hadoop-slave2.out
Starting ZK Failover Controllers on NN hosts [hadoop-master hadoop-slave1]
hadoop-slave1: starting zkfc, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-zkfc-hadoop-slave1.out
hadoop-master: starting zkfc, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-zkfc-hadoop-master.out

9.启动yarn

start-yarn.sh

10.启动历史人物日志功能

mr-jobhistory-daemon.sh start historyserver
目录
相关文章
|
存储 分布式计算 资源调度
41 Hadoop的HA机制
41 Hadoop的HA机制
66 0
41 Hadoop的HA机制
|
分布式计算 运维 Hadoop
42 Hadoop的HA集群的安装部署
42 Hadoop的HA集群的安装部署
120 0
|
1月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】基于ZooKeeper实现Hadoop HA
本文介绍了如何在4个节点(bigdata112、bigdata113、bigdata114和bigdata115)上部署HDFS高可用(HA)架构,并同时部署Yarn的HA。详细步骤包括环境变量设置、配置文件修改、ZooKeeper集群启动、JournalNode启动、HDFS格式化、ZooKeeper格式化以及启动Hadoop集群等。最后通过jps命令检查各节点上的后台进程,确保部署成功。
|
6月前
|
存储 分布式计算 监控
分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
85 0
|
分布式计算 Hadoop 大数据
大数据 | Hadoop HA高可用搭建保姆级教程(大二学长的万字笔记)(下)
大数据 | Hadoop HA高可用搭建保姆级教程(大二学长的万字笔记)(下)
263 0
|
机器学习/深度学习 存储 分布式计算
Hadoop学习---11、HA高可用
Hadoop学习---11、HA高可用
|
分布式计算 运维 Hadoop
大数据 | Hadoop HA高可用搭建保姆级教程(大二学长的万字笔记)(上)
大数据 | Hadoop HA高可用搭建保姆级教程(大二学长的万字笔记)(上)
493 0
|
分布式计算 Hadoop Java
Hadoop2.0架构及HA集群配置(2)
在Hadoop2.0中通常由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步Active NameNode的状态,以便能够在它失败时快速进行切换。 Hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置大于或等于3奇数个JournalNode。 需要配置一
|
存储 机器学习/深度学习 SQL
Hadoop2.0架构及HA集群配置(1)
NameNode HA NameNode Federation HDFS快照 HDFS缓存 HDFS ACL
|
存储 分布式计算 运维
hadoop HA高可用集群实战
大数据实战:hadoop HA高可用集群
hadoop HA高可用集群实战

相关实验场景

更多