启动Hadoop HA Hbase zookeeper spark

本文涉及的产品
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 服务器角色 服务器 192.168.58.180 192.168.58.181 192.168.58.182 192.168.58.183 Name CentOSMaster Slvae1 Slave2 StandByNameNode NameNode  Yes ...
服务器角色
服务器 192.168.58.180 192.168.58.181 192.168.58.182 192.168.58.183
Name CentOSMaster Slvae1 Slave2 StandByNameNode
NameNode  Yes      Yes
DataNode    Yes  Yes  Yes
journalNode    Yes  yes  Yes
ZooKeeper  Yes  Yes    Yes
ZKFC  Yes      Yes
Spark  Yes      Yes
hbase Yes Yes    
Slave2没有zookeeper,所以hbase装在183和181,不过由于hbase.rootdir必须在hdfs上,所以估计还是只能搭载在180和183上。
就是不知道zk和hbase必须对应,就是说2个hbase,三个zk不知道行不。


备注:我的公钥文件在/home/hxsyl/.ssh下不在/root/hxsyl下,通过

find / -name id_rsa

  查找


1.
分别在每个机器上运行命令zkServer.sh start或者在$ZOOKEEPER_HOME/bin目录下运行./zkServer.sh start命令。然后可以通过命令jps来查看Zookeeper启动的进程QuorumPeerMain。 
可通过zkServer.sh status命令来查看Zookeeper状态。正常是机器中只有一个leader,其他的都是follow 
$ZOOKEEPER_HOME/bin/zkServer.sh start

  slave2不要zk了

 

DN节点是命令行模式,但是ssh IP “启动”命令显示成功了,但是ip里没进程,但是这种stop就可以 马丹,咋回事  只能去命令杭霞窍


2.主节点执行
hdfs zkfc -formatZK

  注意:最后的zk是大写,否则

6/11/30 20:31:45 FATAL tools.DFSZKFailoverController: Got a fatal error, exiting now
org.apache.hadoop.HadoopIllegalArgumentException: Bad argument: -formatzk

  

这个必须设置自动故障切换为true。

他会根据$HADOOP_HOME/etc/hadoop/core-site.xml文件中ha.zookeeper.quorum的值来进行初始化。


这个需要确定开启了自动ha切换,否则不行。
但是现在
DFSZKFailoverController并没有启动,start zkfc后才可以,然后才是一个active,一个standby,


3.
注意:所有操作均在Hadoop部署目录下进行。 启动Hadoop集群: Step1 : 在各个JournalNode节点上,输入以下命令启动journalnode服务:
$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode
或者在mster执行
$HADOOP_HOME/sbin/hadoop-daemons.sh start journalnode
注意第二种启动方法master节点并不是journalNode,需要单独启动,挺值得时候单独停止

s2没有journalNode。
4. 在[nn1]上,对其进行格式化,并启动: bin/hdfs namenode -format sbin/hadoop-daemon.sh start namenode 5. 在[nn2]上,同步nn1的元数据信息: bin/hdfs namenode -bootstrapStandby 6. 启动[nn2]: sbin/hadoop-daemon.sh start namenode 经过以上四步操作,nn1和nn2均处理standby状态 7. 将[nn1]切换为Active

有问题 如何配置自动切换的话 这个不要,强制手动 出现脑列问题....
 bin/hdfs haadmin -transitionToActive nn1
强制切换是 --forcemanual nn1,有人说重启zkfc,我先格式化还是然后启动zkfc,说zkfc在运行。
然后重启hbase即可。
8.
此时两个都是standby,standby也可以启动datanode。 在[nn1]上,启动所有datanode sbin/hadoop-daemons.sh start datanode
9.启动yarn
sbin/start-yarn.sh

在master1上多出ResourceManager进程,在slave1 slave2 slave3上多出NodeManager进程

10.启动zkfc
sbin/hadoop-daemon.sh start zkfc

  注意这个和上面的启动journalNode式样的,damons的并没有启动master的zkfc,需要单独启动。

 

11.

sbin/mr-jobhistory-daemon.sh  start historyserver     原文配置在Stand上,我改成CentOSMaster上了。

 

 

11.启动hbase

bin/start-hbase.sh

 

关闭Hadoop集群: 在[nn1]上,输入以下命令 sbin/stop-dfs.sh 并没有停止上面的yarn和历史服务器 主节点的journalNode也没停止
各个节点的zookeeper也没停止

hbase停止很慢 查看master日志发现一直在等待Regionserver 那么先停止它 hbase-daemons.sh stop regionserver
进入spark的sbin目录下
start-all.sh
./start-history-server.sh
bin/spark-shell
 
12.关闭
a.zookeeper
$ZOOKEEPER_HOME/bin/zkServer.sh stop     一个一个关闭



相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
27天前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
114 6
|
27天前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
56 2
|
4天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
23 2
|
4天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
21 1
|
27天前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
62 4
|
27天前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
30 3
|
27天前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
55 3
|
27天前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
62 2
|
27天前
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
47 2
|
27天前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
40 2