大数据编程技术基础实验七:HBase实验——部署HBase

简介: 大数据技术基础实验七,.掌握HBase集群安装部署及HBase Shell的一些常用命令的使用。

一、前言

本期大数据编程技术基础实验的内容是HBase的部署,内容比较简单,但会用到之前实验的东西,所以大家在学习这些知识前,要懂得如何去部署这些大数据组件,并熟练的掌握linux命令。

二、实验目的

  1. 掌握HBase基础简介及体系架构
  2. 掌握HBase集群安装部署及HBase Shell的一些常用命令的使用
  3. 了解HBase和HDFS及Zookeeper之间的关系

三、实验要求

  1. 巩固前面所学实验
  2. 部署一个主节点,三个子节点的HBase集群,并引用外部Zookeeper
  3. 进入HBase Shell通过命令练习创建表、插入数据及查询等命令。

四、实验原理

简介:HBase是基于Hadoop的开源分布式数据库,它以Google的BigTable为原型,设计并实现了具有高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统,它是基于列而不是基于行的模式,适合存储非结构化数据。

体系结构:HBase是一个分布式的数据库,使用Zookeeper管理集群,使用HDFS作为底层存储,它由HMaster和HRegionServer组成,遵从主从服务器架构。HBase将逻辑上的表划分成多个数据块即HRegion,存储在HRegionServer中。HMaster负责管理所有的HRegionServer,它本身并不存储任何数据,而只是存储数据到HRegionServer的映射关系(元数据)。HBase的基本架构如图所示:

image-20221003103601263.png

五、实验步骤

本实验主要演示HBase的安装部署过程,因HBase依赖于HDFS和Zookeeper,所以该实验需要分为四个步骤。

首先,配置SSH无密钥登录。

其次,安装Hadoop集群。

然后,安装Zookeeper集群。

最后,修改HBase配置文件。

前三个步骤我就不再演示了,而且我们学习的大数据平台支持一键搭建,所以前面的步骤也不用再进行,如果需要自己进行配置环境的话,请移步到我之前的大数据技术基础实验,里面有详细过程:

往期的实验博客都在这个专栏里面:大数据技术基础

1、点击一键搭建按钮,等待搭建完成,通过jps命令验证Hadoop已启动

image-20221003153339230.png

image-20221003153347929.png

image-20221003153356282.png

2、修改HBase配置文件

具体操作如下:

将HBase 安装包hbase.1.1.2.tar.gz解压到/usr/cstor目录,并将hbase.1.1.2目录改名为hbase,且所属用户改成root:root。

[root@master ~]#tar -zxvf hbase.1.1.2.tar.gz -c /usr/cstor/hbase[root@master ~]#mv /usr/cstor/hbase.1.1.2 /usr/cstor/hbase[root@master ~]#chown -R root:root /usr/cstor/hbase

以上操作学校平台已经事先做好了。

我们直接进入到hbase目录下:

image-20221003153913221.png

进入解压目录下,配置conf目录下的/usr/cstor/hbase/conf/hbase-env.sh文件,设置如下:

  • Java安装路径:
exportJAVA_HOME=/usr/local/jdk1.7.0_79 (需根据实际情况指定)

  • image-20221003155018312.png
  • 不使用HBase自带的Zookeeper:
exportHBASE_MANAGES_ZK=false

  • image-20221003155116431.png

配置conf目录下的hbase-site.xml文件,设置如下:

<configuration>
   <property>
      <name>hbase.rootdir</name>
      <value>hdfs://master:8020/hbase</value>
   </property>
   <property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
   </property>
   <property>
      <name>hbase.zookeeper.quorum</name>
      <value>slave1,slave2,master</value>
   </property>
   <property>
      <name>hbase.tmp.dir</name>
      <value>/usr/cstor/hbase/data/tmp</value>
   </property>
</configuration>

image-20221003155300131.png

配置conf目录下的regionservers文件,设置如下:

image-20221003155359837.png

配置完成后,将hbase目录传输到集群的其它节点:

scp -r /usr/cstor/hbase root@slave1:/usr/cstor
scp -r /usr/cstor/hbase root@slave2:/usr/cstor

image-20221003155606398.png

接着,启动HBase,并简单验证HBase,如下:

在主节点master进入hbase解压目录的bin目录,启动HBase服务进程(已启动Zookeeper):

[root@master ~]#cd /usr/cstor/hbase/bin[root@master ~]#./start-hbase.sh

image-20221003155712780.png

通过以下命令进入HBase shell界面:

./hbase shell

在shell里创建表:

create 'testhbase' , 'f1'

查询所有表名:

list

查看表结构信息:

describe 'testhbase'

在shell里插入数据:

put 'testhbase', '001', 'f1:name', 'aaa'

在shell里查询:

scan 'testhbase'

删除表,先disable再drop:

disable 'testhbase'drop 'testhbase'

image-20221007102909914.png

image-20221007103030305.png

HBase安装成功后,可以通过访问HBase WEB页面(http://master:16010) 来查看HBase集群的一些基本情况,网址中的master为你的master节点IP。

image-20221007103155902.png

六、最后我想说

本期实验就到这里结束,另外需要注意的是,如果你在最后进入HBase shell界面或者后面创建表的时候出现了错误,请务必检查一下服务器的其他组件是否正常运行,需要注意的就是master节点是否正常,如果解决不了的话,可以尝试重新搭建环境。

最后,关于状态的事,我会利用周末的时间好好的调整一下自己的状态的,从下周开始就要继续正常学习生活了,人生并不是处处顺风,所以我们需要抗住压力,勇往直前,决不放弃,相信自己并不差,这句话送给我,也送给你们。

谢谢你们看完,我会继续加油的。

目录
相关文章
|
8月前
|
存储 人工智能 大数据
云栖2025|阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级
阿里云在云栖大会发布“湖流一体”数智平台,推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品,融合实时化、多模态、智能化技术,打造AI时代高效开放的数据底座,赋能企业数字化转型。
1505 0
|
10月前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
656 4
|
8月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
10月前
|
SQL 分布式计算 大数据
我与ODPS的十年技术共生之路
ODPS十年相伴,从初识的分布式计算到共生进化,突破架构边界,推动数据价值深挖。其湖仓一体、隐私计算与Serverless能力,助力企业降本增效,赋能政务与商业场景,成为数字化转型的“数字神经系统”。
|
10月前
|
存储 人工智能 算法
Java 大视界 -- Java 大数据在智能医疗影像数据压缩与传输优化中的技术应用(227)
本文探讨 Java 大数据在智能医疗影像压缩与传输中的关键技术应用,分析其如何解决医疗影像数据存储、传输与压缩三大难题,并结合实际案例展示技术落地效果。
|
9月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
614 14
|
11月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
386 4
|
10月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
939 0
|
9月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
279 14
|
9月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
295 1