客户端Client
客户端 Client 是整个 HBase 系统的入口。使用者直接通过客户端操作 HBase。客户端
使用 HBase 的 RPC 机制与 HMaster 和 RegionServer进行通信。对于管理类操作,Client 与
HMaster 进行 RPC 通信;对于数据读写类操作,Client 与RegionServer 进行 RPC 交互。这里
客户端可以是多个,并不限定是原生 Java 接口,还有 Thrift、Avro、Rest等客户端模式,甚
至 MapReduce 也可以算作一种客户端。
协调服务组件Zookeeper
ZooKeeper Quorum(队列)负责管理 HBase 中多 HMaster 的选举、服务器之间状态同
步等。再具体一些就是,HBase 中 ZooKeeper 实例负责的协调工作有:存储 HBase 元数据信
息、实时监控 RegionServer、存储所有 Region 的寻址入口,当然还有最常见的功能就是保证
HBase 集群中只有一个HMaster 节点
主节点Hmaster
HMaster 没有单点问题,在HBase 中可以启动多个 HMaster,通过ZooKeeper 的 Master
选举机制保证总有一个 Master 正常运行并提供服务,其他 HMaster 作为备选时刻准备(当目
前 HMaster 出现问题时)提供服务。HMaster 主要负责Table 和 Region 的管理工作:
管理用户对 Table 的增、删、改、查操作。
管理 RegionServer 的负载均衡,调整 Region 分布。
在 Region 分裂后,负责新 Region 的分配。
在 RegionServer 死机后,负责失效 RegionServer 上的 Region 迁移。
Region 节点 HRegionServer
HRegionServer 主要负责响应用户 I/O 请求,向 HDFS 文件系统中读写数据,是 HBase
中最核心的模块。HRegionServer 内部管理了一系列 HRegion对象,每个 HRegion 对应了
Table 中的一个Region。HRegion 由多个HStore 组成,每个 HStore 对应了Table 中的一个
Column Family 的存储。可以看出每个 Column Family 其实就是一个集中的存储单元,因
此最好将具备共同 I/O 特性的列放在一个 Column Family 中,这样能保证读写的高效性。
HStore 存 储 是 HBase 存 储 的 核 心, 由 两 部 分 组 成:MemStore 和
StoreFile。MemStore是 Sorted Memory Buffer,用户写入的数据首先会放入 MemStore 中,当
MemStore 满了以后会缓冲(flush)成一个 StoreFile(底层实现是 HFile) ,当 StoreFile 文件数
量增长到一定阈值,会触发 Compact 操作,将多个StoreFiles 合并成一个 StoreFile,在合并
过程中会进行版本合并和数据删除,因此可以看出 HBase 其实只有增加数据,所有的更新和
删除操作都是在后续的 Compact 过程中进行的,这使得用户的写操作只要进入内存中就可以
立即返回,保证了 HBase I/O 的高性能。
StoreFiles 在触发 Compact 操作后,会逐步形成越来越大的 StoreFile,当单个StoreFile
大小超过一定阈值后,会触发 Split 操作,同时把当前Region 分裂成 2 个 Region,父 Region
会下线,新分裂的 2 个子 Region 会被HMaster 分配到相应的 HRegionServer 上,使得原先 1
个 Region 的压力得以分流到 2 个 Region 上。
每个 HRegionServer 中都有一个 HLog 对象,HLog 是一个实现 Write Ahead Log 的类,
在每次用户操作写入 MemStore 的同时,也会写一份数据到HLog 文件中,HLog 文件定期
会滚动出新,并删除旧的文件(已持久化到 StoreFile 中的数据) 。在 HRegionServer 意外终
止后,HMaster 会通过 ZooKeeper 感知到,首先处理遗留的 HLog 文件,将其中不同 Region
的 Log 数据进行拆分,分别放到相应 Region 的目录下,然后再将失效的 Region 重新分配,
领取到这些 Region 的 HRegionServer 在加载 Region 的过程中,会发现有历史 HLog 需要处
理,因此会将 HLog 中的数据回放到 MemStore 中,然后缓冲(flush)到 StoreFiles,完成数
据恢复。