【HBase】(3)-HBase详细结构图

简介: 【HBase】(3)-HBase详细结构图

 简 介:HBase是谷歌BigData论文的一个代码实现,在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。

 

关键词:大数据组件、HBase、NoSQL

一、HBase详细架构图

从上面的图可以看出,整个HBase组件是建立在HDFS的基础之上,利用zookeeper进行管理整个集群

集群中存在一个HMaster和多个HRegionServer,HMaster是用来进行与zookeeper进行通信,管理整个HRegionServer的负载均衡,调整HRegion的分配。

如果说当前的HMaster死掉之后,剩余的机器会进行抢夺机会,谁拿到了谁就会成为下一个HMaster。

二、组件

HLog:每个HRegionServer可以看到里面维护着一个HLog,HLog的作用就是说将一系列的写操作进行保存,如果某一时刻服务器宕机,我们可以再次读取HLog中的操作进行数据还原,重新将数据写回HDFS。

HRegion:它可以理解为每张表的一部分,因为HBase是用来存储大数据的,所以我们的表一定会很大,如果表过于大不便于操作,效率较低,所以需要将大表进行切分,切分成多个HRegion,可以说包含多个rowKey的数据。

Store:HBase是NoSQL数据库,它不像mysql这种有着强烈的列关系,它是以列族进行区分,每个列族下包含着多个列,可以说每个Store就代表着一个列族。

Mem Store:它是内存缓冲区,我们在像HBase中写入数据时,有时会发现数据不能够实时的写入HDFS中,但是此时是可以扫描到的,原因是此时数据被写入到内存,还没有被刷写到HDFS系统中,只有当Mem Store中的数据达到一定阈值时,才会触发向HDFS中写数据的事件。

StoreFile:上面说Mem Store会一定时机地刷写一次数据,那么每一次刷写就会形成一个StoreFile文件,刷写多次就会形成多个文件,而StoreFile的地层是以HFile进行存储。

文件,而StoreFile的地层是以HFile进行存储。

HFile:HFile是一种数据存储格式,StoreFile就是以该形式进行存储,它是一种以keyValue的形式进行存储。


相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3月前
|
存储 分布式计算 Hadoop
HBase基础结构
HBase基础结构
|
存储 人工智能 大数据
Hbase中表结构的设计
Hbase中表结构的设计
|
存储 分布式数据库 Hbase
一文讲清HBase的存储结构
讲清Hbase的存储结构。
4913 0
|
存储 算法 分布式数据库
HBase内部结构
之前有一篇文章已经大概的说了一下HBase的基本的概念和内部的一些构成的意思,比如表啊,列族啊之类的,这一篇再简单的说一下HBase的架构数据模型从大到小 namespace表空间:类似RDBMS中的库概念,当你想把一组表去统一的管理的时候可以使用得到,这种抽象为即将推出的多租户相关功能奠定了基础 配额管理:限制命名空间可以使用的资源量(即区域,表)。
1792 0
|
存储 分布式数据库 索引
|
存储 分布式数据库 API
|
4月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
137 0
|
1天前
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
13 3
|
3月前
|
存储 分布式计算 Hadoop
Hadoop节点文件存储HBase设计目的
【6月更文挑战第2天】
50 6
|
3月前
|
存储 分布式计算 Hadoop
Hadoop节点文件存储Hbase高可靠性
【6月更文挑战第2天】
77 2