hadoop from rookie to ninja - 1. Basic Architecture(基础架构)

简介: 1. Daemons(守护进程) 新老架构 老的: Apache Hadoop 1.x (MRv1)   新的: Apache Hadoop 2.x (YARN)-Yet Another Resource Negotiator   1-1) Apache Hadoop 1.

1. Daemons(守护进程)

新老架构

老的:

Apache Hadoop 1.x (MRv1)
 
新的:
Apache Hadoop 2.x (YARN)-Yet Another Resource Negotiator
 
1-1) Apache Hadoop 1.x (MRv1) 包含如下后台进程:
• Namenode (名称节点)
• Secondary namenode (第二名称节点)
• Jobtracker (工作跟踪器)
• Datanode (数据节点)
• Tasktracker (任务跟踪器)
 
  a) 所有的后台进程是运行在自己的JVM虚拟机中的Java服务。
  b) 主从模式
  namenode 和 jobtracker 是 master daemons
  datanode 和 tasktracker 是 slave daemons
 
 2. NameNode(名称节点)
 
2-1) 名称节点是master daemon, 它负责存储HDFS文件系统上所有文件的位置信息。
 
名称节点从不存储实际数据,换句话说,它存储所有的元数据(metadata)。
 
(备注: 元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),

主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。)

 
2-2) 名称节点在内存(RAM)中维护所有的元数据,这样客户端可以快速得到请求它的响应。
因此,需要在有较多内存分配的服务器上运行名称节点。(非常重要!!)
HDFS中的文件数量越多,名称节点所消耗的内存也越高。
 

2-3) 由于在内存中存储元数据信息,因此名称节点后台进程也同时在硬盘上存储了一个用来持久化元数据的检查点文件,该文件名叫fsimage

每当集群中的文件发生 新增/删除/更新 操作的时候,动作信息会被更新到一个叫做edits log的日志文件中。

更新完日志后,内存中的元数据信息也会相应地更新。
需要注意的是: fsimage文件不会针对每次写操作进行更新。
 
有人要问,如果名称节点的后台进程重启了怎么办,信息不都在内存中吗?丢失了呀!
答案是不会,下列操作会发生:
1. 从磁盘上读取fsimage文件的信息并把它加载到内存。
2. 从edits log读取所有的操作信息,并把它还原到内存中。
3. 最后把修改后的内存中的信息再写入磁盘上的fsimage文件。
 
2-4) Hadoop 1.x名称节点的弱点以及Hadoop 2.x的改进
 

a. Hadoop 1.x里的名称节点是单节点的,因此,如果该服务器宕机了的话,整个HDFS文件系统将不可使用了。

为了解决这种情况,以前管理员需要配置下,把fsimage同时写到本地磁盘和网络上的远程磁盘。

那台新备份的机器其实相当于冷备份,在名称节点宕机的时候可以临时启动。

 

b. Hadoop 2.x支持高可用(High Availability - HA)

部署2台名称节点的服务器, 分别是active和passive, 如果active的那台服务器宕机了, passive的那台服务器会接管

控制权,相当于双机热备份。

 

3. Secondary namenode(第二名称节点)

 

 

 
 

 

 
 
目录
打赏
0
0
0
0
2
分享
相关文章
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
303 2
【赵渝强老师】史上最详细:Hadoop HDFS的体系架构
HDFS(Hadoop分布式文件系统)由三个核心组件构成:NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求,维护元数据文件fsimage和edits;DataNode存储实际的数据块,默认大小为128MB;SecondaryNameNode定期合并edits日志到fsimage中,但不作为NameNode的热备份。通过这些组件的协同工作,HDFS实现了高效、可靠的大规模数据存储与管理。
354 70
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
233 3
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
118 2
YARN(Hadoop操作系统)的架构
本文详细解释了YARN(Hadoop操作系统)的架构,包括其主要组件如ResourceManager、NodeManager和ApplicationMaster的作用以及它们如何协同工作来管理Hadoop集群中的资源和调度作业。
319 3
YARN(Hadoop操作系统)的架构
Hadoop是一个强大的分布式系统基础架构
【6月更文挑战第17天】Hadoop是一个强大的分布式系统基础架构
216 53
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
122 0
探讨Hadoop的基础架构及其核心特点
总之,Hadoop的设计目标是解决大数据存储和分析问题,提供一个可靠、可扩展、高效且成本低廉的解决方案。随着数据量的日益增长,Hadoop及其生态系统在业界的重要性也日益凸显。
103 0
【揭秘Hadoop YARN背后的奥秘!】从零开始,带你深入了解YARN资源管理框架的核心架构与实战应用!
【8月更文挑战第24天】Hadoop YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的资源管理器,为Hadoop集群上的应用提供统一的资源管理和调度框架。YARN通过ResourceManager、NodeManager和ApplicationMaster三大核心组件实现高效集群资源利用及多框架支持。本文剖析YARN架构及组件工作原理,并通过示例代码展示如何运行简单的MapReduce任务,帮助读者深入了解YARN机制及其在大数据处理中的应用价值。
235 0
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
142 2

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等