Hbase入门(一)——初识Hbase

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 本文将介绍大数据的知识和Hbase的基本概念,作为大数据体系中重要的一员,Hbase弥补了Hadoop只能离线批处理的不足,支持存储小文件,随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。

1、大数据与Hbase


大数据在近几年发展迅速,而实时计算也是一个重要的发展趋势。不管是企业中的日志数据,还是传感器、智能设备等等产生的数据,不计其数。

而这些数据中结构化的数据只占一小部分,大部分是非结构化的数据。这个时候,比如图片视频等就不能轻松的存储在关系型数据库中,而大数据是可以对各种类型的数据都可以进行处理的。

image.png

但关系型数据库有几点缺陷:

无法应对高并发的考验,没有办法横向扩展,事务一致性对性能的影响。

而Nosql数据库,也就是Not Only Sql的缩写。扩展性强,并发性能好,数据模型灵活。

Hbase,也就是Hadoop Database是一个高可靠、高性能、可伸缩的分布式数据库。Hbase参考了谷歌的BigTable建模,使用HDFS作为底层存储。使用Zookeeper作为协同服务组件。

Hbase使用Java编写,还是一种NoSQL数据库,这些特性决定了Hbase独特的应用场景。


2、概念特性


HBASE是一个数据库----可以提供数据的实时随机读写

HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库)

Hbase的表模型与关系型数据库的表模型不同:

Hbase的表没有固定的字段定义;

Hbase的表中每行存储的都是一些key-value对;

Hbase的表中有列族的划分,用户可以指定将哪些kv插入哪个列族;

Hbase的表在物理存储上,是按照列族来分割的,不同列族的数据一定存储在不同的文件中;

Hbase的表中的每一行都固定有一个行键,而且每一行的行键在表中不能重复;

Hbase中的数据,包含行键,包含key,包含value,都是byte[ ]类型,hbase不负责为用户维护数据类型;

HBASE对事务的支持很差;

HBASE相比于其他nosql数据库(mongodb、redis、cassendra、hazelcast)的特点:

Hbase的表数据存储在HDFS文件系统中

从而,hbase具备如下特性:存储容量可以线性扩展;数据存储的安全性可靠性极高!


3、核心模块


image.png

客户端Client

整个Hbase的入口,使用者通过客户端操作Hbase。通过客户端与HMaster和RegionServer进行通讯。管理类操作与HMaster通信,读写类操作与RegionServer通讯。

协调服务zookeeper

zookeeper负责管理Hbase中多个HMaster的选举,服务器间状态同步。

主节点HMaster

HMaster可以启动多个,由zookeeper保证总有一个正常运行,其他作为备选。

HMaster主要负责Table和Region的管理工作。

节点HRegionServer

HRegionServer主要负责响应用户IO请求,向HDFS中读写数据。HRegionServer管理了一系列的HRegion对象。HRegion对应了Table中的一个Region。HRegion由多个HStore组成,HStore对用了Table中一个Column Family。

而且每个HRegionServer都有一个HLog对象,用于数据恢复。


4、使用场景


搜索引擎

生成索引,在查询时通过对条件的拼接,迅速的查找到要查询的数据。

实时流式计算

不管是实时的推荐系统,还是日志的增量存储,都是实时流式计算的一个应用。

通过将数据增量的存入Hbase,并在流式处理中实时查询Hbase,结合历史得到最终的分析结果。

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
机器学习/深度学习 分布式计算 Java
Hbase入门(二)——安装与配置
本文讲述如何安装,部署,启停HBase集群,如何通过命令行对Hbase进行基本操作。 并介绍Hbase的配置文件。 在安装前需要将所有先决条件安装完成。
856 0
Hbase入门(二)——安装与配置
|
7月前
|
存储 NoSQL 分布式数据库
【HBase入门与实战】一文搞懂HBase!
该文档介绍了HBase,一种高吞吐量的NoSQL数据库,适合处理大规模数据。HBase具备快速读写、列式存储和天然支持集群部署的特点,常用于高并发场景。NoSQL与关系型数据库的主要区别在于数据模型、查询语言和可伸缩性。HBase的物理架构包括Client、Zookeeper、HMaster和RegionServer,其中RegionServer管理数据存储。HBase的读写流程利用MemStore和Bloom Filter提高效率。此外,文档还提到了HBase的应用,如时间序列数据、消息传递和内容服务。
1018 1
【HBase入门与实战】一文搞懂HBase!
|
存储 大数据 关系型数据库
大数据HBase入门
大数据HBase入门
119 1
大数据HBase入门
|
SQL 缓存 Java
【大数据】HBase入门学习 3
【大数据】HBase入门学习
133 0
|
存储 大数据 分布式数据库
【大数据】HBase入门学习 2
【大数据】HBase入门学习
139 0
|
存储 分布式计算 Hadoop
【大数据】HBase入门学习 1
【大数据】HBase入门学习
126 0
|
存储 NoSQL Java
HBase入门
HBase入门
132 0
|
分布式计算 Hadoop 分布式数据库
《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(1)
《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(1)
207 0
|
Shell 分布式数据库 API
《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(2)
《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(2)
171 0
|
安全 Shell 测试技术
《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(3)
《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(3)
194 0