大数据编程技术基础实验七:HBase实验——部署HBase

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
简介: 大数据技术基础实验七,.掌握HBase集群安装部署及HBase Shell的一些常用命令的使用。

一、前言

本期大数据编程技术基础实验的内容是HBase的部署,内容比较简单,但会用到之前实验的东西,所以大家在学习这些知识前,要懂得如何去部署这些大数据组件,并熟练的掌握linux命令。

二、实验目的

  1. 掌握HBase基础简介及体系架构
  2. 掌握HBase集群安装部署及HBase Shell的一些常用命令的使用
  3. 了解HBase和HDFS及Zookeeper之间的关系

三、实验要求

  1. 巩固前面所学实验
  2. 部署一个主节点,三个子节点的HBase集群,并引用外部Zookeeper
  3. 进入HBase Shell通过命令练习创建表、插入数据及查询等命令。

四、实验原理

简介:HBase是基于Hadoop的开源分布式数据库,它以Google的BigTable为原型,设计并实现了具有高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统,它是基于列而不是基于行的模式,适合存储非结构化数据。

体系结构:HBase是一个分布式的数据库,使用Zookeeper管理集群,使用HDFS作为底层存储,它由HMaster和HRegionServer组成,遵从主从服务器架构。HBase将逻辑上的表划分成多个数据块即HRegion,存储在HRegionServer中。HMaster负责管理所有的HRegionServer,它本身并不存储任何数据,而只是存储数据到HRegionServer的映射关系(元数据)。HBase的基本架构如图所示:

image-20221003103601263.png

五、实验步骤

本实验主要演示HBase的安装部署过程,因HBase依赖于HDFS和Zookeeper,所以该实验需要分为四个步骤。

首先,配置SSH无密钥登录。

其次,安装Hadoop集群。

然后,安装Zookeeper集群。

最后,修改HBase配置文件。

前三个步骤我就不再演示了,而且我们学习的大数据平台支持一键搭建,所以前面的步骤也不用再进行,如果需要自己进行配置环境的话,请移步到我之前的大数据技术基础实验,里面有详细过程:

往期的实验博客都在这个专栏里面:大数据技术基础

1、点击一键搭建按钮,等待搭建完成,通过jps命令验证Hadoop已启动

image-20221003153339230.png

image-20221003153347929.png

image-20221003153356282.png

2、修改HBase配置文件

具体操作如下:

将HBase 安装包hbase.1.1.2.tar.gz解压到/usr/cstor目录,并将hbase.1.1.2目录改名为hbase,且所属用户改成root:root。

[root@master ~]#tar -zxvf hbase.1.1.2.tar.gz -c /usr/cstor/hbase[root@master ~]#mv /usr/cstor/hbase.1.1.2 /usr/cstor/hbase[root@master ~]#chown -R root:root /usr/cstor/hbase

以上操作学校平台已经事先做好了。

我们直接进入到hbase目录下:

image-20221003153913221.png

进入解压目录下,配置conf目录下的/usr/cstor/hbase/conf/hbase-env.sh文件,设置如下:

  • Java安装路径:
exportJAVA_HOME=/usr/local/jdk1.7.0_79 (需根据实际情况指定)

  • image-20221003155018312.png
  • 不使用HBase自带的Zookeeper:
exportHBASE_MANAGES_ZK=false

  • image-20221003155116431.png

配置conf目录下的hbase-site.xml文件,设置如下:

<configuration>
   <property>
      <name>hbase.rootdir</name>
      <value>hdfs://master:8020/hbase</value>
   </property>
   <property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
   </property>
   <property>
      <name>hbase.zookeeper.quorum</name>
      <value>slave1,slave2,master</value>
   </property>
   <property>
      <name>hbase.tmp.dir</name>
      <value>/usr/cstor/hbase/data/tmp</value>
   </property>
</configuration>

image-20221003155300131.png

配置conf目录下的regionservers文件,设置如下:

image-20221003155359837.png

配置完成后,将hbase目录传输到集群的其它节点:

scp -r /usr/cstor/hbase root@slave1:/usr/cstor
scp -r /usr/cstor/hbase root@slave2:/usr/cstor

image-20221003155606398.png

接着,启动HBase,并简单验证HBase,如下:

在主节点master进入hbase解压目录的bin目录,启动HBase服务进程(已启动Zookeeper):

[root@master ~]#cd /usr/cstor/hbase/bin[root@master ~]#./start-hbase.sh

image-20221003155712780.png

通过以下命令进入HBase shell界面:

./hbase shell

在shell里创建表:

create 'testhbase' , 'f1'

查询所有表名:

list

查看表结构信息:

describe 'testhbase'

在shell里插入数据:

put 'testhbase', '001', 'f1:name', 'aaa'

在shell里查询:

scan 'testhbase'

删除表,先disable再drop:

disable 'testhbase'drop 'testhbase'

image-20221007102909914.png

image-20221007103030305.png

HBase安装成功后,可以通过访问HBase WEB页面(http://master:16010) 来查看HBase集群的一些基本情况,网址中的master为你的master节点IP。

image-20221007103155902.png

六、最后我想说

本期实验就到这里结束,另外需要注意的是,如果你在最后进入HBase shell界面或者后面创建表的时候出现了错误,请务必检查一下服务器的其他组件是否正常运行,需要注意的就是master节点是否正常,如果解决不了的话,可以尝试重新搭建环境。

最后,关于状态的事,我会利用周末的时间好好的调整一下自己的状态的,从下周开始就要继续正常学习生活了,人生并不是处处顺风,所以我们需要抗住压力,勇往直前,决不放弃,相信自己并不差,这句话送给我,也送给你们。

谢谢你们看完,我会继续加油的。

相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
北天
+关注
目录
打赏
0
0
0
0
300
分享
相关文章
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
129 79
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显。作为Windows Server的核心组件,Hyper-V具备卓越的技术性能,支持高可用性、动态迁移等功能,确保虚拟机稳定高效运行。它与Windows深度集成,管理便捷,支持远程管理和自动化部署,降低管理成本。内置防火墙、RBAC等安全功能,提供全方位安全保障。作为内置组件,Hyper-V无需额外购买软件,降低成本。其广泛的生态系统支持和持续增长的市场需求,使其成为企业虚拟化解决方案的首选。
大数据基础工程技术团队4篇论文入选ICLR,ICDE,WWW
大数据基础工程技术团队4篇论文入选ICLR,ICDE,WWW
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
147 2
轻量级的大数据处理技术
现代大数据应用架构中,数据中心作为核心,连接数据源与应用,承担着数据处理与服务的重要角色。然而,随着数据量的激增,数据中心面临运维复杂、体系封闭及应用间耦合性高等挑战。为缓解这些问题,一种轻量级的解决方案——esProc SPL应运而生。esProc SPL通过集成性、开放性、高性能、数据路由和敏捷性等特性,有效解决了现有架构的不足,实现了灵活高效的数据处理,特别适用于应用端的前置计算,降低了整体成本和复杂度。
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
288 4
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
273 92
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
数据让农业更聪明——用大数据激活田间地头
数据让农业更聪明——用大数据激活田间地头
27 2

热门文章

最新文章