HBase 原理_5 | 学习笔记

简介: 快速学习 HBase 原理_5

开发者学堂课程【HBase入门教程HBase 原理_5】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/397/detail/5065


HBase 原理_5


内容介绍:

一.HBase 体系架构

二.HBase 数据模型


一、HBase 体系架构

image.png

1.Master

Region server 分配 region

负责 Region server 的负载均衡

发现失效的 Region server 井重新分配其上的 region

管理用户对 table 的増删改操作

2.RegionServe

Region server 维护 region,处理对这些 region IO 请求

Region server 负责切分在运行过程中变得过大的 region


二、HBase 数据模型

Meinstore storefile

一个 region 由多个 store 组成,

一个 store 对应一个 CF(列族)

store 包括位于内存中的 memstore 和位于磁盘的 storefile 写操作先写入 memstore,memstore 中的数据达到某个值, hregionserver 会启动 flashcache 进程写人 storefile,毎次写人形成单独的一个 storefile

storefile 文件的数量増长到一定阀值后,系统会进行合井( minor major compaction),在合并过程中会进行版本合并和删除工作(majar),形成更大的 storcfile

当个 region 所有 storefile 的大小和数量超过一定阀值后,会把当前的 region 分割为两个,并由  hmister 分配到相应的regionserver 服务器,实现负载均衡

客户端检索数据,先在 memnstorc ,找不到再找 storcfile

HRegion HBase 中分布式存储和负载均衡的最小单元。最小单元就表示不同的 HRegion 可以分布在不同的 HRegion server 上。  HRegion  由一个或者多个 Store  组成,每个  store 保存一个 columns family  ,每个  Strore 又由一个 memStore 0至多个 StoreFile 组成。如图: StoreFile HFile 格式保存在 HDFS 上。

image.png

Client

包含访问HBase的接口并维护 cache 来加快对 HBase 的访问

Zookeeper

保证任何时候,集群中只有一个 master

存贮所有 Region 的寻址入口。

实时监控 Region server 的上线和下线信息。并实时通知 Master

存储 HBase schema table 元数据

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
5月前
|
存储 SQL 分布式计算
技术心得记录:深入学习HBase架构原理
技术心得记录:深入学习HBase架构原理
|
存储 负载均衡 监控
HBase分布式数据库架构及原理
Client是操作HBase集群的入口,对于管理类的操作,如表的增、删、改操纵,Client通过RPC与HMaster通信完成,对于表数据的读写操作,Client通过RPC与RegionServer交互,读写数据。
674 0
HBase分布式数据库架构及原理
|
6月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.16 安装HBase
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
137 1
Hadoop学习笔记(HDP)-Part.16 安装HBase
|
6月前
|
存储 算法 分布式数据库
HBase原理 | HBase内部探险
HBase原理 | HBase内部探险
119 0
|
存储 缓存 负载均衡
98 hbase原理
98 hbase原理
67 0
|
存储 运维 监控
分布式数据库HBase的重要机制和原理的宕机恢复和故障处理
HBase是一个分布式数据库系统,支持高可用性、高性能和高伸缩性。在分布式环境中,数据的分布式存储和管理是非常重要的。HBase通过分布式存储和管理数据来实现高可用性和高性能。同时,HBase还提供了一些重要的机制和原理来支持宕机恢复和故障处理。
443 1
|
存储 分布式计算 关系型数据库
|
存储 缓存 负载均衡
HBASE原理整理
HBASE原理整合
186 0
|
存储 容灾 大数据
分布式数据库HBase的重要机制和原理的容灾与备份机制
在当今的互联网时代,数据的安全性和可靠性已经成为了企业的核心竞争力之一。而在大数据领域,分布式数据库HBase作为一个开源的分布式数据库系统,因其高性能、高可靠性和易于扩展性等特点,受到了广泛的应用。本文将深入探讨HBase中的重要机制之一:容灾与备份机制,帮助开发者更好地理解和掌握HBase的工作原理。
434 0
|
存储 负载均衡 大数据
分布式数据库HBase的重要机制和原理的负载均衡原理
在当今的互联网时代,数据的存储和处理已经成为了企业的核心竞争力之一。而在大数据领域,分布式数据库HBase作为一个开源的分布式数据库系统,因其高性能、高可靠性和易于扩展性等特点,受到了广泛的应用。本文将深入探讨HBase中的重要机制之一:负载均衡原理,帮助开发者更好地理解和掌握HBase的工作原理。
390 0