备案控制台
开发者社区 大数据 文章 正文

Hadoop源码学习之HDFS（一）

2017-07-03 963
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 　　Hadoop的HDFS可以分为NameNode与DataNode,NameNode存储所有DataNode中数据的元数据信息。而DataNode负责存储真正的数据（数据块）信息以及数据块的ID。　　NameNode上并不永久保存哪个DataNode上有哪些数据块的信息，而是通过DataNode启动时的上报，来更新NameNode上的映射表。

　　Hadoop的HDFS可以分为NameNode与DataNode,NameNode存储所有DataNode中数据的元数据信息。而DataNode负责存储真正的数据（数据块）信息以及数据块的ID。

　　NameNode上并不永久保存哪个DataNode上有哪些数据块的信息，而是通过DataNode启动时的上报，来更新NameNode上的映射表。

　　那么从DataNode上开始一点一点看：

　　在存储层面，Storage抽象类继承了StorageInfo。在StorageInfo中存储了layoutVersion：版本号，namenodeID是Storage的ID，cTime,creation time，storageType。

　　

 

　　 

　　

文章标签：
存储
分布式计算
Hadoop
关键词：
hadoop hdfs
hadoop文件存储HDFS版
文件存储HDFS版hadoop
hadoop学习
hadoop源码
松伯
目录
相关文章
yuanzhengme
|
29天前
|
存储 分布式计算 Hadoop
Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）
【4月更文挑战第3天】Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）
yuanzhengme
42 3
yuanzhengme
|
29天前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
yuanzhengme
75 2
听风de歌
|
1天前
|
存储 分布式计算 运维
Hadoop的HDFS问题
【5月更文挑战第5天】Hadoop的HDFS问题
听风de歌
8 3
yuanzhengme
|
27天前
|
分布式计算 Hadoop 大数据
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
【4月更文挑战第5天】Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
yuanzhengme
47 5
yuanzhengme
|
27天前
|
分布式计算 Hadoop 测试技术
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
【4月更文挑战第5天】Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
yuanzhengme
45 8
yuanzhengme
|
27天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
54 9
yuanzhengme
|
28天前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
33 5
爱吃糖的范同学
|
1月前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS中的块是什么？
【4月更文挑战第9天】【Hadoop】HDFS中的块是什么？
爱吃糖的范同学
27 2
爱吃糖的范同学
|
1月前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS仅支持独占写入？
【4月更文挑战第9天】【Hadoop】HDFS仅支持独占写入？
爱吃糖的范同学
23 0
爱吃糖的范同学
|
1月前
|
存储 分布式计算 Hadoop
【Hadoop】区分HDFS块和输入拆分
【4月更文挑战第9天】【Hadoop】区分HDFS块和输入拆分
爱吃糖的范同学
25 0

热门文章

最新文章

  • 1
    利用Hive与Hadoop构建大数据仓库：从零到一
  • 2
    Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
  • 3
    大数据处理架构Hadoop
  • 4
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 5
    Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
  • 6
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
  • 7
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
  • 8
    Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
  • 9
    Hadoop节点资源扩展硬件选择
  • 10
    【Hadoop Yarn】Yarn 工作机制
  • 1
    Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
    102
  • 2
    Flink报错问题之flink-sql写hdfs报错如何解决
    67
  • 3
    HDFS体系结构的局限性
    49
  • 4
    NameNode和DataNode在HDFS中的作用是什么？
    141
  • 5
    Hadoop的Secondary NameNode在HDFS中的作用是什么？
    41
  • 6
    HDFS中的数据一致性是如何保证的？请解释数据一致性的概念和实现方式。
    97
  • 7
    HDFS的数据读取流程是怎样的？请描述数据读取的过程。
    31
  • 8
    HDFS如何处理故障和节点失效？请解释故障恢复机制。
    57
  • 9
    HDFS的数据写入流程是怎样的？请描述数据写入的过程。
    21
  • 10
    HDFS如何处理大文件和小文件的存储和访问？
    51

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop 分布式文件系统 HDFS
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）