HBase（Hadoop Database）是一个开源的、分布式的、面向列的NoSQL数据库，它是构建在Hadoop之上的。HBase旨在提供可靠的、高性能的、可扩展的存储和访问大规模数据集的能力。
HBase特性
以下是HBase的一些关键特性和概念：
- 分布式架构：HBase是一个分布式数据库，它可以在一个集群中运行在多个机器上。数据以水平分片的方式分布在不同的机器上，这样可以实现数据的高可用性和横向扩展性。
- 列存储：HBase是面向列的数据库，它将数据存储在表中的列族中。每个列族可以包含多个列，这样可以方便地存储和检索具有不同结构的数据。HBase的列存储特性使得可以高效地读取和写入大量数据。
- 强一致性：HBase提供强一致性的读写操作。当数据被写入或读取时，HBase会确保所有相关的副本都是最新的。这使得HBase非常适合需要强一致性的应用场景，如金融、电信等领域。
- 高可扩展性：HBase可以轻松地扩展到大规模的数据集和集群。通过添加更多的机器和分片数据，可以线性地扩展存储容量和吞吐量。
- 快速读写：HBase是为了高性能而设计的。它使用了内存和硬盘的组合来存储数据，可以实现快速的读写操作。此外，HBase还支持批量写入和异步写入，进一步提高了写入性能。
- 灵活的数据模型：HBase提供了灵活的数据模型，可以根据应用程序的需求设计表结构。它支持动态添加列，并且可以高效地执行范围查询和单行读写操作。
- 数据一致性：HBase通过使用ZooKeeper来管理集群的元数据和协调分布式操作，确保数据的一致性和可用性。
- 集成Hadoop生态系统：HBase与Hadoop生态系统紧密集成，可以与Hadoop分布式文件系统（HDFS）和Hadoop的计算框架（如MapReduce）无缝配合使用。这使得HBase能够处理大规模的数据存储和分析任务。
Hadoop的限制
尽管Hadoop是一个强大的分布式计算框架，但它也存在一些不足之处，与HBase相比，以下是一些Hadoop的限制：
- 实时性：Hadoop主要用于批处理任务，对于实时性要求较高的应用场景，如实时数据分析和流式处理，Hadoop的延迟可能会比较高。Hadoop的MapReduce模型通常不适合处理需要即时响应的数据处理任务。
- 存储效率：Hadoop在存储效率方面存在一些问题。为了提供容错性和可靠性，Hadoop将数据复制多次存储在不同的节点上，这会导致存储开销增加。相对于HBase的列存储模型，Hadoop的存储效率可能较低。
- 复杂性：Hadoop的配置和管理相对复杂，需要专业知识和经验。搭建和维护一个Hadoop集群需要处理许多参数和组件，对于初学者来说可能存在一定的学习曲线。
- 扩展性限制：虽然Hadoop具有良好的可扩展性，可以通过添加更多的节点来扩展集群的存储和计算能力，但在某些情况下，随着集群规模的增加，管理和调度节点可能变得更加困难。
- 处理复杂查询的限制：Hadoop的主要计算模型是MapReduce，它适合处理简单的计算任务，但对于复杂的查询和数据分析，如复杂聚合、连接和实时查询等，Hadoop的性能可能不如专门设计的分析数据库。
基本概念
NameSpace
命名空间，类似于关系型数据库的Database概念，每个命名空间下有多个表。
HBase自带两个命名空间，分别是hbase和default，hbase 中存放的是HBase内置的表，default表是用户默认使用的命名空间，这2个命名空间默认是不展示的。
Table
类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。因为数据存储时稀疏的，空（null）列不占用存储空间，所有往HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase 能够轻松应对字段变更的场景。
RowKey
HBase表中的每行数据都由一个RowKey和多个Column(列)组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。
Column
HBase中的每个列都由Colunn Family (列族)和Column Qualifier (列限定符)进行限定，例如info: name, info: age。 建表时，只需指明列族，而列限定符无需预先定义。
TimeStamp
用于标识数据的不同版本(version)，每条数据写入时，系统会自动为其加上该字段，其值为写入HBase的时间。
Cell
由{rowkey, column Family：column Qualifier, timestamp} 唯一确定的单元，Cell 中的数据全部是字节码形式存贮。
一条数据有多个版本，每个版本都是一个Cell。
存储结构
HBase存储结构如下：
上面的这种数据会存储为下面这样，底层存储为Byte：
行分为Region，列分为Store，Region可以放在其他机器上。
HBase是基于HDFS的，而HDFS是不能够修改数据的，所以HBase其实也是不能修改数据的。HBase使用时间戳实现修改功能。取数据的时候取最新时间戳的数据，取出来的就是最新的数据。
HBase 数据访问形式
HBase数据访问可以通过以下几种形式进行：
- 单行读写（Get和Put）：使用HBase提供的API，可以通过指定行键（Row Key）来读取和写入单行数据。Get操作可以根据行键从表中获取特定行的数据，而Put操作可以将数据写入表的指定行。
- 批量读写（Scan和Batch Put）：HBase支持批量读写操作，可以一次性读取或写入多行数据。Scan操作可以按照一定的条件扫描表中的多行数据，而Batch Put操作可以一次性写入多行数据。
- 全表扫描（Scan）：通过Scan操作，可以遍历整个表的数据，按照指定的条件进行过滤和筛选。可以设置起始行键和结束行键，还可以使用过滤器（Filter）进行更精确的数据查询。
- 列族范围扫描（Scan）：HBase中的数据以列族（Column Family）为单位进行存储，可以通过Scan操作对指定列族的数据进行范围扫描。这种方式可以提高数据查询的效率，只获取所需列族的数据，而不必读取整个表的数据。
- 过滤器（Filter）：HBase支持多种过滤器来进行数据的精确查询和过滤。可以使用行键过滤器（Row Filter）按照行键的条件进行数据过滤，还可以使用列族过滤器（Family Filter）、列限定符过滤器（Qualifier Filter）和值过滤器（Value Filter）等进行更细粒度的数据过滤。
- 原子性操作（Check-and-Put和Check-and-Delete）：HBase支持原子性操作，例如Check-and-Put和Check-and-Delete。这些操作允许在写入数据之前进行检查，只有在满足指定条件的情况下才执行写入操作。
以上形式提供了不同的数据访问方式，可以根据具体的需求和查询条件选择适合的方式来访问和操作HBase中的数据。
架构体系
HBase的架构体系是基于分布式存储和处理的设计。它包含了以下几个重要的组成部分：
- HMaster：HMaster是HBase集群的主节点，负责管理整个集群的元数据和协调各个RegionServer的工作。它维护了表的结构信息、分片规则、RegionServer的负载均衡等，并协调分布式操作，如Region的分裂和合并。
- RegionServer：RegionServer是HBase集群中的工作节点，负责存储和处理数据。每个RegionServer管理多个Region，每个Region负责存储表中的一部分数据。RegionServer处理客户端的读写请求，负责数据的存储、读取和写入操作。
- ZooKeeper：ZooKeeper是一个分布式协调服务，被HBase用于管理集群的元数据和协调分布式操作。HBase使用ZooKeeper来进行主节点的选举、故障检测、集群配置的同步等任务。
- HDFS（Hadoop Distributed File System）：HBase使用HDFS作为底层的分布式文件系统，用于存储数据。HDFS将数据分割成块并分布在不同的节点上，提供高可靠性和可扩展性的存储。
- HBase客户端：HBase客户端是与HBase交互的应用程序或工具，用于发送读写请求和接收查询结果。客户端可以通过HBase的Java API或者命令行工具（如HBase shell）来访问和操作HBase表。
- 表和列族：HBase数据模型是基于表的，表由一个或多个列族（Column Family）组成。每个列族可以包含多个列（Column），列存储着实际的数据。表被分割成多个Region存储在不同的RegionServer上，每个Region负责存储一部分行数据。
这些组成部分共同构成了HBase的架构体系，实现了分布式存储和处理大规模数据集的能力。HMaster负责管理元数据和协调工作，RegionServer存储和处理数据，ZooKeeper提供分布式协调服务，HDFS提供底层的分布式文件存储，而HBase客户端用于与HBase进行交互。表和列族的概念提供了数据的组织和存储方式。
HBase组件
- MemStore：每个RegionServer都有一个MemStore，它是位于内存中的临时数据存储区域。当客户端写入数据时，数据首先被写入到MemStore中，以提供快速的写入性能。
- WAL（Write-Ahead-Log）：WAL是HBase的日志文件，用于记录所有的写操作。当数据被写入到MemStore时，相应的写操作也会被写入WAL中，以保证数据的持久性和故障恢复能力。
- StoreFile：当MemStore中的数据达到一定大小阈值后，会被刷新到磁盘上的StoreFile中。StoreFile是HBase中实际持久化存储数据的文件形式，它包含了已经写入的数据和相应的索引。
- HFile：HFile是StoreFile的底层存储格式，采用了块索引和时间范围索引的方式，提供了高效的数据查找和扫描能力。HFile使用块（Block）来组织数据，并采用压缩和编码技术来减小存储空间。
MemStore提供了临时的内存存储，StoreFile提供了持久化的磁盘存储，WAL用于保证数据的持久性。这种架构设计使得HBase能够提供高可用性、高性能和可扩展性的分布式存储和处理能力。
HBase读写流程
读流程
- 客户端发送读取请求：客户端向HBase集群发送读取请求，包括所需的表名、行键（Row Key）以及其他可选的参数（如列族、列限定符等）。
- 定位RegionServer和Region：HBase的客户端会与ZooKeeper进行通信，获取到存储有所需数据的Region所在的RegionServer的信息。
- RegionServer处理请求：客户端发送的读取请求到达对应的RegionServer，RegionServer会根据请求的行键定位到包含所需数据的Region。
- 数据读取：RegionServer首先会从MemStore中查找数据，如果数据在MemStore中找到，则直接返回给客户端。如果数据不在MemStore中，RegionServer会在磁盘上的StoreFile中进行查找，根据索引定位到所需的数据块，并将数据块读取到内存中进行处理。
- 数据返回给客户端：RegionServer将读取到的数据返回给客户端，客户端可以根据需要对数据进行进一步的处理和分析。
写流程
- 客户端发送写入请求：客户端向HBase集群发送写入请求，包括表名、行键、列族、列限定符和对应的值等信息。
- 定位RegionServer和Region：客户端与ZooKeeper通信，获取存储目标数据的Region所在的RegionServer的信息。
- RegionServer处理请求：客户端发送的写入请求到达对应的RegionServer，RegionServer根据行键定位到目标Region。
- 写入到MemStore：RegionServer将写入请求中的数据写入到目标Region对应的内存中的MemStore。写入到MemStore是一个追加操作，将数据追加到内存中的MemStore中，并不直接写入磁盘。
- WAL日志记录：同时，RegionServer将写入请求中的操作写入WAL（Write-Ahead-Log）日志文件，确保数据的持久性和故障恢复能力。
- MemStore刷新到磁盘：当MemStore中的数据达到一定的大小阈值时，RegionServer会将MemStore中的数据刷新到磁盘上的StoreFile中。刷新过程将内存中的数据写入到磁盘上的StoreFile，并生成相应的索引。
- 数据返回给客户端：写入完成后，RegionServer向客户端发送写入成功的响应，表示数据已成功写入。
