HBase 架构 | 学习笔记

简介: 快速学习 HBase 架构。

开发者学堂课程【分布式数据库 HBase快速入门:HBase 架构】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/101/detail/1738


HBase 架构


内容介绍

一、HBase 架构


一、HBase 架构

HBase 架构如图所示

 1.jpg

从图中可以看出 Hbase 由 Client 、 Zookeeper , Master 、 HRegionServer 、 HDFS 等几个组件组成。

下面来介绍一下几个组件的相关功能:

1) Client  

Client 包含了访问 Hbase 的接口,另外 Client 还维护了对应的 eache 来加速 Hbase 的访问。比如 eache 的 META .元数据的信息。

2) Zookeeper .

HBase 通过 Zookeeper 来做 master 的高可用、 RegionServer 的监控、元数据的入口以及集群配置的维护等工作。

具体工作如下:  

通过 Zoopkeeper 来保证集群中只有1个 master 在运行,如果 master 异常,会通过竞争机制产生新的 master 提供服务。

通过 Zoopkeeper 来监控 RegionServer 的状态,当 RegionServer 有异常的时候,通过回调的形式通知 Master RegionServer 上下线的信息。

通过 Zoopkeeper 存储元数据的统一入口地址。

3) Hmaster .

master 节点的主要职责如下:

为 RegionServer 分配 Region  

维护整个集群的负载均衡

维护集群的元数据信息:

发现失效的 Region ,并将失效的 Region 分配到正常的 RegionSener 上:

当 RegionSever 失效的时候,协调对应 Hlog 的拆分。

4) HregionServer .

HrepionServer 直接对接用户的读写请求,是真正的“干活”的节点。它的功能概括如下:

管理 master 为其分配的 Region  

处理来自客户端的读写请求

负责和底层 HDFS 的交互,存储数据到 HDFS :

负责 Region 变大以后的拆分:

负责 Storefile 的合并工作。

5)НDFS .

HDFS为 Hbase 提供最终的底层数据存储服务,同时为 HBase 提供高可用( Hlog 存储在 HDFS )的支持,具体功能概括如下:  

提供元数据和表数据的底层分布式存储服务

数据多副本,保证的高可靠和高可用性。

相关文章
|
8月前
|
存储 缓存 分布式数据库
【赵渝强老师】HBase的体系架构
HBase是一种基于BigTable思想的列式存储NoSQL数据库,适合数据分析与处理。其主从架构包含HBase HMaster、Region Server和ZooKeeper。HMaster负责Region分配及表管理;Region Server执行数据读写操作,并包含WAL预写日志、Block Cache读缓存和MemStore写缓存;ZooKeeper维护集群状态并协调分布式系统工作。通过视频讲解与架构图示,详细解析各组件功能与协作机制。
588 11
|
自然语言处理 JavaScript Java
《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》学习笔记——HarmonyOS架构介绍
HarmonyOS采用分层架构设计,从下至上分为内核层、系统服务层、框架层和应用层。内核层支持多内核设计与硬件驱动;系统服务层提供核心能力和服务;框架层支持多语言开发;应用层包括系统及第三方应用,支持跨设备调度,确保一致的用户体验。
1181 81
|
10月前
|
人工智能 前端开发 Java
DDD四层架构和MVC三层架构的个人理解和学习笔记
领域驱动设计(DDD)是一种以业务为核心的设计方法,与传统MVC架构不同,DDD将业务逻辑拆分为应用层和领域层,更关注业务领域而非数据库设计。其四层架构包括:Interface(接口层)、Application(应用层)、Domain(领域层)和Infrastructure(基础层)。各层职责分明,避免跨层调用,确保业务逻辑清晰。代码实现中,通过DTO、Entity、DO等对象的转换,结合ProtoBuf协议,完成请求与响应的处理流程。为提高复用性,实际项目中可增加Common层存放公共依赖。DDD强调从业务出发设计软件,适应复杂业务场景,是微服务架构的重要设计思想。
|
存储 分布式数据库 数据库
Hbase学习二:Hbase数据特点和架构特点
Hbase学习二:Hbase数据特点和架构特点
578 0
|
存储 监控 分布式数据库
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
本文介绍了百亿级数据存储架构的设计与实现,重点探讨了ElasticSearch和HBase的结合使用。通过ElasticSearch实现快速检索,HBase实现海量数据存储,解决了大规模数据的高效存储与查询问题。文章详细讲解了数据统一接入、元数据管理、数据一致性及平台监控等关键模块的设计思路和技术细节,帮助读者理解和掌握构建高性能数据存储系统的方法。
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
218 2
|
存储 缓存 监控
【赵渝强老师】HBase的体系架构
本文介绍了HBase的体系架构,包括HMaster、RegionServer和ZooKeeper的主要功能。HMaster负责Region的分配和管理,RegionServer处理数据的读写操作,ZooKeeper维护集群状态并协调分布式系统的运行。文章还详细解释了Region、WAL预写日志、Block Cache读缓存和MemStore写缓存的作用。
693 0
|
存储 SQL 分布式计算
技术心得记录:深入学习HBase架构原理
技术心得记录:深入学习HBase架构原理
|
8月前
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上,这些步骤如诗如画,但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面,这就是你的开发环境。接下来,尽情去创造吧,祝编程愉快!
582 19
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
363 4

热门文章

最新文章