HBase基本概念和hbase shell常用命令用法

简介:

1. 简介


  HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。


2. HBase的表结构


  HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)。


Row Key


column-family1


column-family2


column-family3


column1


column2


column1


column2


column3


column1


key1


t1:abc


t2:gdxdf


 

t4:dfads


t3:hello


t2:world


   

key2


t3:abc


t1:gdxdf


 

t4:dfads


t3:hello


 

t2:dfdsfa


t3:dfdf


 

key3


 

t2:dfadfasd


t1:dfdasddsf


 

t2:dfxxdfasd


t1:taobao.com


  如上图所示,key1,key2,key3是三条记录的唯一的row key值,column-family1,column-family2,column-family3是三个列族,每个列族下又包括几列。比如column-family1这个列族下包括两列,名字是column1和column2,t1:abc,t2:gdxdf是由row key1和column-family1-column1唯一确定的一个单元cell。这个cell中有两个数据,abc和gdxdf。两个值的时间戳不一样,分别是t1,t2, hbase会返回最新时间的值给请求者。


  这些名词的具体含义如下:


  (1) Row Key


  与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行,只有三种方式:


    (1.1) 通过单个row key访问


    (1.2) 通过row key的range


    (1.3) 全表扫描


  Row key行键 (Row key)可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。


  存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。(位置相关性)


  注意:


  字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行键必须用0作左填充。


  行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。


  (2) 列族 column family


  hbase表中的每个列,都归属与某个列族。列族是表的chema的一部分(而列不是),必须在使用表之前定义。列名都以列族作为前缀。例如courses:history , courses:math 都属于 courses 这个列族。


  访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中,列族上的控制权限能帮助我们管理不同类型的应用:我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据(甚至可能因为隐私的原因不能浏览所有数据)。


  (3) 单元 Cell


  HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( =+), version} 唯一确定的单元。cell中的数据是没有类型的,全部是字节码形式存贮。


  (4) 时间戳 timestamp


  每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值,此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突,就必须自己生成具有唯一性的时间戳。每个cell中,不同版本的数据按照时间倒序排序,即最新的数据排在最前面。


  为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担,hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本,二是保存最近一段时间内的版本(比如最近七天)。用户可以针对每个列族进行设置。


3. HBase shell的基本用法


  hbase提供了一个shell的终端给用户交互。通过执行 help get 可以看到命令的帮助信息。


  以网上的一个学生成绩表的例子来演示hbase的用法。


name


grad


course


math


art


zkb


5


97


87


baoniu


4


89


80


  这里grad对于表来说是一个列,course对于表来说是一个列族,这个列族由两个列组成math和art,当然我们可以根据我们的需要在course中建立更多的列族,如computer,physics等相应的列添加入course列族。图中需要注意的是90这个值,列族下面的列也是可以没有名字的。


  (1) 建立一个表格scores  具有两个列族grad 和courese


hbase(main):001:0> create'scores','grade', 'course'

0 row(s) in 0.4780 seconds

  (2) 查看当前HBase中具有哪些表


hbase(main):002:0> list

TABLE                                                                                                                                                                                         

scores                                                                                                                                                                               

1 row(s) in 0.0270 seconds

  (3) 查看表的构造


hbase(main):004:0> describe'scores'

DESCRIPTION                                                 ENABLED                                               

 {NAME => 'scores', FAMILIES => [{NAME =>'course', BLOOMFILTER => 'NONE', REPLICATION_SCOPE =>'0',  true                                                  

 COMPRESSION => 'NONE', VERSIONS =>'3', TTL => '2147483647', BLOCKSIZE =>'65536', IN_MEMORY => 'fal                                                       

 se', BLOCKCACHE => 'true'}, {NAME => 'grade', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', COMPR                                                       

 ESSION => 'NONE', VERSIONS => '3', TTL => '2147483647', BLOCKSIZE =>'65536', IN_MEMORY => 'false',                                                        

 BLOCKCACHE => 'true'}]}                                                                                                                                    

1 row(s) in 0.0390 seconds

  (4) 加入一行数据,行名称为zkb 列族grad的列名为”” 值位5


hbase(main):006:0> put'scores','zkb','grade:','5'       

0 row(s) in 0.0420 seconds

  (5) 给zkb这一行的数据的列族course添加一列,97>


hbase(main):007:0> put'scores','zkb','course:math','97'

0 row(s) in 0.0270 seconds

  (6) 给zkb这一行的数据的列族course添加一列,87>


hbase(main):008:0> put'scores','zkb','course:art','87'

0 row(s) in 0.0260 seconds

  (7) 加入一行数据,行名称为baoniu 列族grad的列名为”” 值为4


hbase(main):009:0> put'scores','baoniu','grade:','4'    

0 row(s) in 0.0260 seconds

  (8) 给baoniu这一行的数据的列族course添加一列,89>


hbase(main):010:0> put'scores','baoniu','course:math','89'

0 row(s) in 0.0270 seconds

  (9) 给Jerry这一行的数据的列族course添加一列,80>


hbase(main):011:0> put'scores','baoniu','course:art','80'

0 row(s) in 0.0270 seconds

  (10) 查看scores表中zkb的相关数据


hbase(main):012:0> get'scores','zkb'

COLUMN                     CELL                                                                                                               

 course:art                              timestamp=1316100110921, value=87                                                                                  

 course:math                             timestamp=1316100025944, value=97                                                                                  

 grade:                                  timestamp=1316099975625, value=5                                                                                   

3 row(s) in 0.0480 seconds

  (11) 查看scores表中所有数据


  注意:scan命令可以指定startrow,stoprow来scan多个row,例如:scan 'user_test',{COLUMNS =>'info:username',LIMIT =>10, STARTROW => 'test',STOPROW=>'test2'}


hbase(main):013:0> scan'scores'

ROW                        COLUMN+CELL                                                                                                        

 baoniu                                  column=course:art, timestamp=1316100293784, value=80                                                               

 baoniu                                  column=course:math, timestamp=1316100234410, value=89                                                              

 baoniu                                  column=grade:, timestamp=1316100178609, value=4                                                                    

 zkb                                     column=course:art, timestamp=1316100110921, value=87                                                               

 zkb                                     column=course:math, timestamp=1316100025944, value=97                                                              

 zkb                                     column=grade:, timestamp=1316099975625, value=5                                                                    

2 row(s) in 0.0470 seconds

  (12) 查看scores表中所有数据courses列族的所有数据


hbase(main):017:0> scan'scores',{COLUMNS => 'course'}

ROW                        COLUMN+CELL                                                                                                        

 baoniu                                  column=course:art, timestamp=1316100293784, value=80                                                               

 baoniu                                  column=course:math, timestamp=1316100234410, value=89                                                              

 zkb                                     column=course:art, timestamp=1316100110921, value=87                                                               

 zkb                                     column=course:math, timestamp=1316100025944, value=97                                                              

2 row(s) in 0.0350 seconds

  (13) 删除scores表


hbase(main):024:0> disable'scores'

0 row(s) in 0.0330 seconds

 

hbase(main):025:0> drop'scores'   

0 row(s) in 1.0840 seconds

本文转自杨海龙的博客博客51CTO博客,原文链接http://blog.51cto.com/7218743/1704072如需转载请自行联系原作者


IT达仁

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
4天前
|
缓存 监控 Shell
如何使用 HBase Shell 进行数据的实时监控和备份?
如何使用 HBase Shell 进行数据的实时监控和备份?
|
4天前
|
Shell 分布式数据库 Hbase
如何使用 HBase Shell 进行数据的批量导入和导出?
如何使用 HBase Shell 进行数据的批量导入和导出?
|
2天前
|
Java Shell Windows
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
12 1
|
1月前
|
Web App开发 网络协议 Linux
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】
这篇文章是关于Linux命令的总结,涵盖了从基础操作到网络配置等多个方面的命令及其使用方法。
61 1
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
68 4
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
56 3
|
1月前
|
Shell 知识图谱
Shell printf 命令
10月更文挑战第3天
17 1
|
1月前
|
Shell PHP
Shell echo命令
10月更文挑战第3天
20 0
|
2月前
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
90 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
32 3