fsimage 和 edits log

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: standby NN每隔一段时间(由参数dfs.ha.tail-edits.period决定,默认是60s)去检查Journal node上新的Edits log文件。 standby NN每隔一段时间(由参数dfs.namenode.checkpoint.check.period决定,默认是60s)去检查是否满足建立checkpoint的条件。

standby NN每隔一段时间(由参数dfs.ha.tail-edits.period决定,默认是60s)去检查Journal node上新的Edits log文件。

standby NN每隔一段时间(由参数dfs.namenode.checkpoint.check.period决定,默认是60s)去检查是否满足建立checkpoint的条件。

条件有两个:

       (1) 距离上次checkpoint的时间间隔 >= ${dfs.namenode.checkpoint.period}. 默认3600秒(1小时).
       (2) Edits中的事务条数达到${dfs.namenode.checkpoint.txns}限制. 默认1,000,000.

满足checkpoint条件时, standby NN会做一次checkpoint,记录standby NN合并到了哪个Edits log文件., 然后合并新的Edits log到fsimage, 并将fsimage同步到active NN上(默认${dfs.namenode.checkpoint.period}. 1小时upload一次).

如果active NN挂了, standby NN会检查上一次checkpoint之后JN上新的Edits log文件, 并合并成fsimage, 取代active NN.

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
3月前
|
存储 缓存 分布式计算
详解HBase中的“WAL”(Write-Ahead Log)
【8月更文挑战第31天】
103 0
|
3月前
|
C#
C# 写日志文件
C# 写日志文件
42 0
|
分布式计算 数据管理 Hadoop
NameNode元数据
NameNode元数据
94 0
fsimage 和 edit 的区别
fsimage 和 edit 的区别
100 0
|
分布式计算 Hadoop
Hadoop 查看Fsimage和Edits文件 命令
1.oiv查看Fsimage文件
189 0
|
机器学习/深度学习 存储 XML
Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
|
Docker 容器
限制日志文件大小
限制日志文件大小
266 0
强制DataNode向NameNode上报blocks
正常情况下,什么时候上报blocks,是由NameNode通过回复心跳响应的方式触发的。 一次机房搬迁中,原机房hadoop版本为2.7.2,新机房版本为2.8.0,采用先扩容再缩容的方式搬迁。
1460 0
|
XML 分布式计算 Hadoop
Fsimage 和 Edits 解析| 学习笔记
快速学习 Fsimage和 Edits 解析
250 0
|
Java 应用服务中间件 Spring
log4j日志文件配置
log4j日志文件配置和使用
1105 0