一个 datanode 宕机,恢复流程

简介: 一个 datanode 宕机,恢复流程

如果是短暂的宕机,可以利用脚本监控,重新启动。

但如果是长时间的宕机,那么 datanode 上的数据已经备份到其他机器上了,所以这台 DataNode 就是新的机器,可以清理数据文件和状态文件,重新启动。

相关文章
|
6月前
|
存储
15 DATANODE的工作机制
15 DATANODE的工作机制
45 0
|
4月前
|
存储 Java API
HDFS如何处理故障和节点失效?请解释故障恢复机制。
HDFS如何处理故障和节点失效?请解释故障恢复机制。
57 0
|
6月前
|
存储 数据管理
14 NAMENODE的工作机制
14 NAMENODE的工作机制
33 0
|
10月前
在通过客户端向 hdfs 中写数据的时候,如果某一台机器宕机了,会怎么处理
在通过客户端向 hdfs 中写数据的时候,如果某一台机器宕机了,会怎么处理
79 0
|
11月前
|
NoSQL API Redis
HDFS 如何实现故障自动转移
HDFS 如何实现故障自动转移
93 0
|
SQL 分布式计算 Hadoop
Hadoop主节点宕机第二节点补救
Hadoop主节点宕机第二节点补救
341 0
Hadoop主节点宕机第二节点补救
|
存储 机器学习/深度学习 分布式计算
Hadoop中的DataNode、工作机制、数据完整性、掉线时限参数设置
Hadoop中的DataNode、工作机制、数据完整性、掉线时限参数设置
Hadoop中的DataNode、工作机制、数据完整性、掉线时限参数设置
|
监控 NoSQL Redis
如何解决 “主节点故障恢复的自动化” 问题?
工作 & 面试中,当面试官问你主服务器宕机了,怎么办,如何处理?那么“哨兵”它来了~~~
如何解决 “主节点故障恢复的自动化” 问题?
|
分布式计算 Hadoop 分布式数据库
因为主机时间不同步导致的hbase zookeeper 节点宕机奔溃 一例
前几天 ,升级hadoop/hbase 集群, 新 添加了几十台机器, 硬件部门,安装好主机os 后就交付给我们了, 安装好软件环境,配置好,就启动接入集群了,运行了一个礼拜,系统运行正常。 昨天的时候淘汰一台旧机器,上面跑了zookeeper , 需要准备一个新的zookeeper 节点来代替,如实就找了一台hbase 节点上启动了zookeeper 这个时候问题来了, zookeeper 启动后总是在报错, 一直在确定自己的状态。
531 0
|
SQL 运维 分布式计算
NameNode主备宕机引发的思考
大家都知道在双十一这些电商大型营销活动期间,电商网站的访问量等是平时的N倍。每当这个时候到来,无论是开发还是运维人员都严阵以待生怕服务出现问题。很不幸,笔者的一个朋友在一家电商公司上班,在双十一时,恰恰就出现了NameNode宕机的生产事故。 鉴于涉及到一些公司私密信息,不便发一些排查问题截图,同时,JVM调优作为大数据从业者必备技能,笔者打算后续分篇系统阐述,这里仅就问题现象、问题分析、解决方案三个层面阐述这次生产事故从产生、排查到最终解决的历程。希望能给大家带来一定思考,避免此类事情的发生以及提供出现类似问题时处理的一个思路。