HBase的体系结构和架构原理

简介: HBase的体系结构和架构原理

一、HBase的体系结构:主从架构


1、主节点:HMaster 管理员


作用:


1、为Hregionserver分配region:区域

2、负责Hregionserver的负载均衡

3、发现失效的Hregionserver并重新分配其上的region

4、接收客户端的请求:对HBase表进行增删改查等操作


2、从节点:Hregionserver


作用:


1、保存region,处理用户对region的IO请求(增删改查)


2、向HDFS中读写数据


Hregionserver越多,HBase/hadoop的实时查询存储能力越大,查询速度越快

把HBase抽象成一个图书馆,Hregionserver抽象成书架


HBase和Hadoop属于横向扩展的开源组件


3、Zookeeper:分布式应用程序协调服务


作用:


1、保存HBase集群结构信息:HMaster、Hregionserver,表的信息(-ROOT-:保存所有Meta表的信息 .META.:保存region的元信息) region的元信息


2、实现HBase集群的HA(High Availability:高可用性)功能


二、HBase架构原理:


20180705131045400 (1).png


1、对比HDFS和HBase:


HBase:


数据最终保存在Datanode中(表:目录 记录:Hfile文件) 实时查询/随机访问功能


数据元信息保存在Zookeeper中


HDFS:


文件保存在Datanode中 永久存储文件


文件元信息保存在Namenode中


2、客户端通信机制:


1)客户端通过RPC(Remote Process C远程过程调用协议)与HMaster和Hregionserver通信


2)客户端与HMaster通信进行管理类的操作


3)客户端与Hregionserver通信进行数据读写操作


注:相同行键为一条记录,一个行键/一条记录为一个region


3、解析HBase架构原理图:


Region:区域


store:仓库 多个store组成一个region,一个store保存一个列族


storefile:仓库文件 一个memstore和多个storefile组成一个store 一个storefile保存一个Hfile


memstore:内存仓库 保存最新一批数据的更新操作 128M阈值 溢写形成storefile 多个storefile最终会合并成一个storefile


storefile大小大于256M region会自动分裂 另一个region由HMaster分配给其他regionserver,实现负载均衡


storefile文件小于<128M


Datanode保存的Block storefile—->Hfile保存在HDFS中


相关文章
|
7月前
|
存储 机器学习/深度学习 缓存
软考软件评测师——计算机组成与体系结构(分级存储架构)
本内容全面解析了计算机存储系统的四大核心领域:虚拟存储技术、局部性原理、分级存储体系架构及存储器类型。虚拟存储通过软硬件协同扩展内存,支持动态加载与地址转换;局部性原理揭示程序运行特性,指导缓存设计优化;分级存储架构从寄存器到外存逐级扩展,平衡速度、容量与成本;存储器类型按寻址和访问方式分类,并介绍新型存储技术。最后探讨了存储系统未来优化趋势,如异构集成、智能预取和近存储计算等,为突破性能瓶颈提供了新方向。
|
3月前
|
机器学习/深度学习 自然语言处理 监控
23_Transformer架构详解:从原理到PyTorch实现
Transformer架构自2017年Google发表的论文《Attention Is All You Need》中提出以来,彻底改变了深度学习特别是自然语言处理领域的格局。在短短几年内,Transformer已成为几乎所有现代大型语言模型(LLM)的基础架构,包括BERT、GPT系列、T5等革命性模型。与传统的RNN和LSTM相比,Transformer通过自注意力机制实现了并行化训练,极大提高了模型的训练效率和性能。
|
6月前
|
存储 监控 算法
园区导航系统技术架构实现与原理解构
本文聚焦园区导航场景中室内外定位精度不足、车辆调度路径规划低效、数据孤岛难以支撑决策等技术痛点,从架构设计到技术原理,对该系统从定位到数据中台进行技术拆解。
337 0
园区导航系统技术架构实现与原理解构
|
7月前
|
存储 消息中间件 canal
zk基础—2.架构原理和使用场景
ZooKeeper(ZK)是一个分布式协调服务,广泛应用于分布式系统中。它提供了分布式锁、元数据管理、Master选举及分布式协调等功能,适用于如Kafka、HDFS、Canal等开源分布式系统。ZK集群采用主从架构,具有顺序一致性、高性能、高可用和高并发等特点。其核心机制包括ZAB协议(保证数据一致性)、Watcher监听回调机制(实现通知功能)、以及基于临时顺序节点的分布式锁实现。ZK适合小规模集群部署,主要用于读多写少的场景。
|
8月前
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上,这些步骤如诗如画,但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面,这就是你的开发环境。接下来,尽情去创造吧,祝编程愉快!
582 19
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
363 4
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
348 4