HBase 角色介绍 | 学习笔记

简介: 快速学习 HBase 角色介绍。

开发者学堂课程【分布式数据库 HBase快速入门:HBase 角色介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/101/detail/1739


HBase 中的角色


内容介绍

一.HMaster

二.RegionServer .

三.其他组件


一. HMaster .

·功能

1.监控 RegionServer  

2,处理 RegionServer 故障转移

3,处理元数据的变更。

4,处理 region 的分配或转移。

5.在空闲时同进行数据的负载均衡。

6.通过 Zookeeper 发布自己的位置给客户端。


二. RegionServer .

·功能

1负责存储 HBese 的实际数据

2.处理分配给它的 Regione  

3.刷新缓存到 HDFS  

4.维护 Hlog  

5.执行压缩

6.负责处理 Region 分片


三. 其他组件    

1.Write - Ahead logs  

2.HBase 的修改记录,当对 HBase 读写数据的时候,数据不是直接写进磁盘,它会在内存中保留一段时间(时间以及数据量阔值可以设定)。

但把数据保存在内存中可能有更高的概率引起数据丢失,为了解决这个问题,数据会先写在一个叫做 Write -Ahead logfile 的文件中。然后再写入内存中。

所以在系统出现故障的时候,数据可以通过这个日志文件重建。

3.Rogion

4.  Hbase 表的分片, HBase 表会根据 RomKey 值被切分成不同的 region 存储在 RegionSenver 中,在一个 RepionSener 中可以有多个不同的 region

5.Store.

6.HFile 存储在 Store 中,一个 Store 对应 HBase 表中的一个列族。

7.MemStore

8.顾名思义,就是内存存储。位于内存中,用来保存当前的数据操作,所以当数据保存在 WAL 中之后, RegsionServer 会在内存中存储键值对。

9. HFile .

10.这是在磁盘上保存原始数据的实际的物理文件,是实际的存储文件, StoreFile 是以 Hfile 的形式存储在 HDFS 的。

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
存储 SQL 自然语言处理
基于 HBase 的海量数据查询与检索解析|学习笔记
快速学习基于 HBase 的海量数据查询与检索解析
1023 0
基于 HBase 的海量数据查询与检索解析|学习笔记
|
4月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.16 安装HBase
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
113 1
Hadoop学习笔记(HDP)-Part.16 安装HBase
|
存储 前端开发 Cloud Native
基于 HBase 快速构架海量订单存储系统|学习笔记
快速学习基于 HBase 快速构架海量订单存储系统
397 0
基于 HBase 快速构架海量订单存储系统|学习笔记
|
存储 搜索推荐 Java
如何基于 HBase 构建图片、视频数据的统一存储检索方案|学习笔记
快速学习如何基于 HBase 构建图片、视频数据的统一存储检索方案
852 0
如何基于 HBase 构建图片、视频数据的统一存储检索方案|学习笔记
|
SQL 存储 边缘计算
HBase&Hive 2(三)|学习笔记
快速学习 HBase&Hive 2(三)
125 0
HBase&Hive 2(三)|学习笔记
|
SQL 存储 分布式计算
HBase&Hive 2(二)|学习笔记
快速学习 HBase&Hive 2(二)
HBase&Hive 2(二)|学习笔记
|
存储 SQL 分布式计算
HBase&Hive 2(一)|学习笔记
快速学习 HBase&Hive 2(一)
110 0
HBase&Hive 2(一)|学习笔记
|
存储 SQL 缓存
HBase&HIve 1|学习笔记
快速学习 HBase&HIve 1
163 0
HBase&HIve 1|学习笔记
|
SQL 消息中间件 存储
基于 HBase 的大数据在线分析|学习笔记
快速学习基于 HBase 的大数据在线分析
370 0
基于 HBase 的大数据在线分析|学习笔记
|
XML 缓存 分布式计算
集成 Oozie 服务&集成 Hbase 服务 | 学习笔记
快速学习 集成 Oozie 服务&集成 Hbase 服务
集成 Oozie 服务&集成 Hbase 服务 | 学习笔记