HDFS 使用分布式日志管理，日志管理的是nameNode的fsimages和eidts日志文件。
原理图
HDFS Using QJM
2018-02-26
1179
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
HDFS 使用分布式日志管理，日志管理的是nameNode的fsimages和eidts日志文件。原理图
目录
相关文章
|
机器学习/深度学习
存储
监控
|
6月前
|
XML
存储
分布式计算
【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
HDFS（Hadoop分布式文件系统）由三个核心组件构成：NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求，维护元数据文件fsimage和edits；DataNode存储实际的数据块，默认大小为128MB；SecondaryNameNode定期合并edits日志到fsimage中，但不作为NameNode的热备份。通过这些组件的协同工作，HDFS实现了高效、可靠的大规模数据存储与管理。
558
70
75
|
11月前
|
分布式计算
Kubernetes
Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
431
6
6
|
11月前
|
SQL
分布式计算
监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
165
3
3
|
11月前
|
存储
分布式计算
资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（一）
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（一）
235
5
5
|
11月前
|
资源调度
数据可视化
大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（二）
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（二）
124
4
5
|
11月前
|
XML
分布式计算
资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（一）
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（一）
414
5
5
|
11月前
|
SQL
分布式计算
Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
164
4
4
|
11月前
|
XML
资源调度
网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（二）
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（二）
455
4
4
|
11月前
|
分布式计算
资源调度
Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
276
4
4
热门文章
最新文章
1
HDFS文件上传异常分析：put: `test.txt': No such file or directory
2
sqoop2:从mysql导出数据到hdfs
3
hdfs创建级联文件夹
4
hadoop hdfs实现机制
5
使用EMR+DLF+OSS-HDFS进行数据湖分析
6
HDFS源码分析心跳汇报之周期性心跳
7
Flume-NG + HDFS + HIVE 日志收集分析
8
数据湖实操讲解【数据迁移】第三讲：如何将 HDFS 海量文件归档到OSS
9
数据湖实操讲解【数据迁移】第一讲：高效迁移 HDFS 海量文件到 OSS
10
HDFS源码分析之UnderReplicatedBlocks（二）
1
Hadoop中将数据从HDFS复制到本地文件系统
1934
2
构建NLP 开发问题之如何支持其他存储介质（如 HDFS、ODPS Volumn）在 transformers 框架中
149
3
hadoop格式化HDFS的命令
1005
4
Hadoop配置文件hdfs-site.xml
918
5
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时，无法在所有指定的数据节点上进行复制，该如何解决
785
6
hadoop格式化HDFS问题
309
7
ClickHouse(22)ClickHouse集成HDFS表引擎详细解析
396
8
程序技术好文：深刻理解HDFS工作机制
173
9
分布式系统详解--框架（Hadoop-HDFS的HA搭建及测试）
190
10
分布式系统详解--框架（Hadoop--JAVA操作HDFS文件）
118