HBase的体系结构和架构原理

简介: HBase的体系结构和架构原理

一、HBase的体系结构:主从架构


1、主节点:HMaster 管理员


作用:


1、为Hregionserver分配region:区域

2、负责Hregionserver的负载均衡

3、发现失效的Hregionserver并重新分配其上的region

4、接收客户端的请求:对HBase表进行增删改查等操作


2、从节点:Hregionserver


作用:


1、保存region,处理用户对region的IO请求(增删改查)


2、向HDFS中读写数据


Hregionserver越多,HBase/hadoop的实时查询存储能力越大,查询速度越快

把HBase抽象成一个图书馆,Hregionserver抽象成书架


HBase和Hadoop属于横向扩展的开源组件


3、Zookeeper:分布式应用程序协调服务


作用:


1、保存HBase集群结构信息:HMaster、Hregionserver,表的信息(-ROOT-:保存所有Meta表的信息 .META.:保存region的元信息) region的元信息


2、实现HBase集群的HA(High Availability:高可用性)功能


二、HBase架构原理:


20180705131045400 (1).png


1、对比HDFS和HBase:


HBase:


数据最终保存在Datanode中(表:目录 记录:Hfile文件) 实时查询/随机访问功能


数据元信息保存在Zookeeper中


HDFS:


文件保存在Datanode中 永久存储文件


文件元信息保存在Namenode中


2、客户端通信机制:


1)客户端通过RPC(Remote Process C远程过程调用协议)与HMaster和Hregionserver通信


2)客户端与HMaster通信进行管理类的操作


3)客户端与Hregionserver通信进行数据读写操作


注:相同行键为一条记录,一个行键/一条记录为一个region


3、解析HBase架构原理图:


Region:区域


store:仓库 多个store组成一个region,一个store保存一个列族


storefile:仓库文件 一个memstore和多个storefile组成一个store 一个storefile保存一个Hfile


memstore:内存仓库 保存最新一批数据的更新操作 128M阈值 溢写形成storefile 多个storefile最终会合并成一个storefile


storefile大小大于256M region会自动分裂 另一个region由HMaster分配给其他regionserver,实现负载均衡


storefile文件小于<128M


Datanode保存的Block storefile—->Hfile保存在HDFS中


相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
9天前
|
存储 关系型数据库 MySQL
MySQL数据库进阶第六篇(InnoDB引擎架构,事务原理,MVCC)
MySQL数据库进阶第六篇(InnoDB引擎架构,事务原理,MVCC)
|
20小时前
|
存储 SQL 分布式计算
技术心得记录:深入学习HBase架构原理
技术心得记录:深入学习HBase架构原理
|
1月前
|
存储 移动开发 前端开发
【Uniapp 专栏】Uniapp 架构设计与原理探究
【5月更文挑战第12天】Uniapp是一款用于跨平台移动应用开发的框架,以其高效性和灵活性脱颖而出。它基于HTML、CSS和Vue.js构建视图层,JavaScript处理逻辑层,管理数据层,实现统一编码并支持原生插件扩展。通过抽象平台特性,开发者能专注于业务逻辑,提高开发效率。尽管存在兼容性和复杂性挑战,但深入理解其架构设计与原理将助力开发者创建高质量的跨平台应用。随着技术进步,Uniapp将继续在移动开发领域扮演重要角色。
【Uniapp 专栏】Uniapp 架构设计与原理探究
|
11天前
|
存储 传感器 编解码
【Camera基础(二)】摄像头驱动原理和开发&&V4L2子系统驱动架构
【Camera基础(二)】摄像头驱动原理和开发&&V4L2子系统驱动架构
|
11天前
|
编解码 Linux API
【Camera基础(一)】Camera摄像头工作原理及整机架构
【Camera基础(一)】Camera摄像头工作原理及整机架构
|
1月前
|
负载均衡 Java 开发者
Spring Cloud:一文读懂其原理与架构
Spring Cloud 是一套微服务解决方案,它整合了Netflix公司的多个开源框架,简化了分布式系统开发。Spring Cloud 提供了服务注册与发现、配置中心、消息总线、负载均衡、熔断机制等工具,让开发者可以快速地构建一些常见的微服务架构。
|
1月前
|
运维 监控 安全
WLAN的组网架构和工作原理
WLAN的组网架构和工作原理
42 0
|
1月前
|
负载均衡 NoSQL 关系型数据库
深入浅出Redis(六):Redis的主从架构与主从复制原理
深入浅出Redis(六):Redis的主从架构与主从复制原理
|
1月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
110 0
|
24天前
|
存储 分布式计算 Hadoop
Hadoop节点文件存储HBase设计目的
【6月更文挑战第2天】
26 6

热门文章

最新文章