NN 故障处理_案例| 学习笔记

简介: 快速学习 NN 故障处理_案例

开发者学堂课程【Hadoop 分布式文件系统 HDFSNN故障处理_案例】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/93/detail/1459


NN故障处理_案例


内容介绍

一、NN 故障处理_案例


一、NN故障处理_案例

NameNode 故障后,可以采用如下两种方法恢复数据。

方法一:

SecondaryNameNode 中数据拷贝到 NameNode 存储数据的目录

1. kill -9 NameNode 进程.

2.删除 NameNode 存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name).

[atguigu@hadoop102 hadoop-2.7.2]$ rm-rf /opt/module/hadoop-

2.7.2/data/tmp/dfs/name/*

3.拷贝SecondaryNameNode中数据到原 NameNode 存储数据目录。

[atquiqu@hadoop102       dfs]  $    scp     -r

atguigu@hadoop104:/opt/module/hadoop-

2.7.2/data/tmp/dfs/namesecondary/./name/.

4.重新启动NameNode.

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode.

方法二:

使用-importCheckpoint 选项启动 NameNode 守护进程,从而将SecondaryNameNode 中数据拷贝到 NameNode 目录中。

1.修改hdfs-site.xml中的。

dfs.namenode.checkpoint.period.

120

.dfs.namenode.name.dir

/opt/module/hadoop-2.7.2/data/tmp/dfs/name.

2. kill -9 NameNode 进程

3.删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)

[atguigu@hadoop102 hadoop-2.7.2]$ rm-rf/opt/module/hadoop-

2.7.2/data/tmp/dfs/name/

4.如果 SecondaryNameNode 不和 NameNode在一个主机节点上,需要将SecondaryNameNode 存储数据的目录拷贝到 NameNode 存储数据的平级目录,并删除in_use.lock文件。

[atguigu@hadoop102        dfs]$           Scp      -r

atquigu@hadoop104:/opt/module/hadoop-

2.7.2/data/tmp/dfs/namesecondary ./.

[atguigu@hadoop102 namesecondary]$ rm -rf in use.lock.

[atquigu@hadoop102 dfs]$ pwd.

/opt/module/hadoop-2.7.2/data/tmp/dfs.

[atguigu@hadoop102 dfs]$ 1s

data name namesecondary.

5.导入检查点数据(等待一会ctrl+c 结束掉)

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode

importCheckpoint.

6.启动 NameNode

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start

namenode.

相关文章
|
9月前
|
机器学习/深度学习 算法 PyTorch
【PyTorch实战演练】自调整学习率实例应用(附代码)
【PyTorch实战演练】自调整学习率实例应用(附代码)
267 0
|
7月前
|
机器学习/深度学习 存储 算法
持续学习中避免灾难性遗忘的Elastic Weight Consolidation Loss数学原理及代码实现
在本文中,我们将探讨一种方法来解决这个问题,称为Elastic Weight Consolidation。EWC提供了一种很有前途的方法来减轻灾难性遗忘,使神经网络在获得新技能的同时保留先前学习任务的知识。
364 1
|
机器学习/深度学习 传感器 人工智能
ICLR 2023 Oral | Batch Norm层等暴露TTA短板,开放环境下解决方案来了(1)
ICLR 2023 Oral | Batch Norm层等暴露TTA短板,开放环境下解决方案来了
152 0
|
数据可视化 算法 流计算
ICLR 2023 Oral | Batch Norm层等暴露TTA短板,开放环境下解决方案来了(2)
ICLR 2023 Oral | Batch Norm层等暴露TTA短板,开放环境下解决方案来了
186 0
|
运维 Unix 应用服务中间件
深入浅出学习透析 Nginx 服务器的基本原理和配置指南「运维操作实战篇」
深入浅出学习透析 Nginx 服务器的基本原理和配置指南「运维操作实战篇」
697 0
深入浅出学习透析 Nginx 服务器的基本原理和配置指南「运维操作实战篇」
|
BI 数据处理 开发者
方案_我们能学到什么|学习笔记
快速学习方案_我们能学到什么
方案_我们能学到什么|学习笔记
|
前端开发 程序员
.NET-记一次架构优化实战与方案-梳理篇
.NET-记一次架构优化实战与方案-梳理篇
137 0
.NET-记一次架构优化实战与方案-梳理篇
|
机器学习/深度学习 存储 分布式计算
NN 和2NN 工作机制 |学习笔记
快速学习 NN 和2NN工作机制
256 0
NN 和2NN 工作机制 |学习笔记