HDFS 使用分布式日志管理，日志管理的是nameNode的fsimages和eidts日志文件。
原理图
HDFS Using QJM
2018-02-26
1132
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
HDFS 使用分布式日志管理，日志管理的是nameNode的fsimages和eidts日志文件。原理图
目录
相关文章
|
机器学习/深度学习
存储
监控
|
1月前
|
分布式计算
Kubernetes
Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
149
6
6
|
1月前
|
SQL
分布式计算
监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
60
3
3
|
1月前
|
SQL
分布式计算
Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
40
4
4
|
1月前
|
存储
分布式计算
资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（一）
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（一）
75
5
5
|
1月前
|
资源调度
数据可视化
大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（二）
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI（二）
36
4
5
|
1月前
|
XML
分布式计算
资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（一）
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（一）
149
5
5
|
1月前
|
分布式计算
资源调度
Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
91
3
3
|
1月前
|
XML
资源调度
网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（二）
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece（二）
86
4
4
|
1月前
|
分布式计算
资源调度
Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
76
4
4
热门文章
最新文章
1
HDFS的shell命令
2
hdfs命令
3
手把手教你使用自建Hadoop访问全托管服务化HDFS（OSS-HDFS服务）
4
HDFS－Architecture剖析
5
Hadoop 2.x HDFS和YARN的启动方式
6
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
7
HDFS的linux下开发环境准备
8
Hadoop大象之旅009-通过Shell操作hdfs
9
给 admin 新建的 hdfs 文件的权限
10
Hadoop HDFS概念学习系列之两个和HDFS读写操作最为密切的Hadoop包（二十）
1
Hadoop分布式文件系统（HDFS）
84
2
实验:熟悉常用的HDFS操作
90
3
【分布式计算框架】HDFS常用操作及编程实践
146
4
Hadoop的HDFS问题
77
5
阿里云EMR数据湖文件系统: 面向开源和云打造下一代 HDFS
72728
6
[AIGC 大数据基础]浅谈hdfs
75
7
[AIGC 大数据基础] 浅谈hdfs
63
8
Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
86
9
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
106
10
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
143