Hadoop主节点宕机第二节点补救

简介: Hadoop主节点宕机第二节点补救

本人大三大数据专业,上周初学如何搭建hadoop环境。配置好了静态ip搭建完了hadoop分布式集群后,开始搭建Zookeeper软件,之后搭建hbase环境(https://blog.csdn.net/master_hunter/article/details/108704148)。在此领域本人有诸多不明确疑问,可能文章会有些许错误,望大家在评论区指正,本篇文章错误将会不断更正维护。


项目场景:


在装载了Hbase之后打算搭建数据仓库(Hive),安装完了Hive之后在安装Mysql的时候发现hadoop的hdfs所有服务启动不了,进入hadoop目录查看发现只有conf.empty,进入所有配置文件都带有后缀.rpmsave。个人觉得应该是rpm时路径设置错误导致。


问题描述:


命令hadoop时not found,hdfs无反应,进入hadoop目录只有conf.empty文件,进入所有配置文件都带有后缀.rpmsave。


原因分析:

 

可能配置Hive的时候环境配错HADOOP_HOME=/usr/local/hadoop路径导致,可能rpmsql的时候打错命令导致。


解决方案:


利用启动服务第二节点secondnamenode的hadoop2来补救,我原本备份的hadoop1还没有搭建hbase和zookeeper,所有以后还要记得实时动态备份hadoop啊(泪目)。


克隆hadoop2改为hadoop1名字,进入hadoop1后修改其节点的hostname


/etc/sysconfig/network


将hadoop2改为hadoop1,之后需要清除DataNode数据写入目录信息(因为目录里有DataNode的编号信息,如不清除,DataNode只能启动一个)


rm -rf /data/dn/*


设置克隆后的hadoop1的mac地址


vi /etc/sysconfig/network-scripts/ifcfg-eth0


mac可以在虚拟机网络配置看到


20200923115856232.png

修改后记得改网关


rm -rf /etc/udev/rules.d/70-persistent-net.rules


重启后修改新生成/etc/udev/rules.d/70-persistent-net.rules 中为NAME="eth0"。


这时候根据hadoop映射原理应该已经识别到了hadoop1,开启namenode服务,根据第二节点的冷备份功能克隆的hadoop1会回溯原hadoop1状态,但进入其他节点查看其余服务都能正常启动但是DataNode无法启动。


先暂停所有节点服务(根据自己在其他虚拟机部署的服务来关闭相应服务)


service hadoop-hdfs-datanode stop
service hadoop-yarn-resourcemanager stop
service hadoop-mapreduce-historyserver stop
service hadoop-hdfs-namenode stop
service hadoop-hdfs-secondarynamenode stop

然后在hadoop1、hadoop2和hadoop3上分别删除/data/dn/current,执行以下命令


rm -rf /data/dn/current


启动顺序:namenode——>secondnamenode——>所有datanode——>recourcemanager——>所有机器的nodemanager——>historyserver.


之后再启动节点相应的服务,发现hadoop1以及可以正常使用。问题解决

目录
相关文章
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
70 4
|
1月前
|
大数据 网络安全 数据安全/隐私保护
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
121 5
|
1月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
155 5
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
58 3
|
1月前
|
XML 大数据 网络安全
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
69 4
|
1月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
96 4
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
77 4
|
1月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
60 2
|
1月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
62 1
|
1月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
42 1