HBase集群部署

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: HBase集群部署

HBase是一个面向列的分布式存储数据库。HBase的运行依赖于Hadoop和ZooKeeper,HBase利用HDFS作为其文件存储系统;利用MapReduce处理HBase中的数据;利用ZooKeeper作为分布式应用程序协调服务,同时存储HBase集群的元数据信息可以为HBase集群提供故障自动转移功能,以保证HBase集群的高可用。集群规划如下图所示:

aa4e9484e65442f0be674cbb87f342fe.png


一、安装HBase集群


  1. 下载HBase


访问Apache资源网站下载Linux操作系统的HBase安装包hbase-1.2.1-bin.tar.gz。

上传HBase安装包

使用SecureCRT远程连接工具连接虚拟机Spark01,在存放应用安装包的目录/export/software/下执行“rz”命令上传HBase安装包。


安装HBase

在虚拟机Spark01中,通过解压缩的方式安装HBase,将HBase安装到存放应用的目录/export/servers/。

tar -zxvf /export/software/hbase-1.2.1-bin.tar.gz -C /export/servers/

修改配置文件hbase-env.sh


在HBase安装目录下的conf目录,执行“vi hbase-env.sh”命令编辑HBase配置文件hbase-env.sh,配置HBase运行时的相关参数。

# 指定JDK安装目录。
export JAVA_HOME=/export/servers/jdk1.8.0_161
#指定不使用内置的ZooKeeper
export HBASE_MANAGES_ZK=false



修改配置文件hbase-site.xml

在HBase安装目录下的conf目录,执行“vi hbase-site.xml”命令编辑HBase配置文件hbase-site.xml,配置HBase相关参数。

<property >
      <name>hbase.rootdir</name>#HBase集群中所有HRegionServer共享目录,用来持久化HBase的数据
      <value>hdfs://master/hbase</value>
</property>
<property >
      <name>hbase.cluster.distributed</name>#设置HBase的存储模式为分布式存储
      <value>true</value>
</property>
<property>
      <name>hbase.zookeeper.quorum</name>#设置ZooKeeper的服务器地址
     <value>spark01:2181,spark02:2181,spark03:2181</value>
</property>



  1. 修改配置文件regionservers
    在HBase安装目录下的conf目录,执行“vi regionservers”命令编辑HBase配置文件regionservers,配置运行HRegionServer所在的服务器主机名。
spark02
spark03


复制Hadoop配置文件

进入Hadoop安装目录的conf目录,将配置文件core-site.xml和hdfs-site.xml复制到HBase安装目录下的conf目录,用于HBase启动时读取Hadoop的核心配置信息和HDFS配置信息。

cp {core-site.xml,hdfs-site.xml} /export/servers/hbase-1.2.1/conf/

配置备用HMaster

在HBase安装目录下的conf目录,执行“vi backup-masters”命令编辑备用HMaster配置文件backup-masters,配置备用HMaster所在的服务器主机名spark02。


   分发HBase安装目录

   为了便于快速配置HBase集群中其他服务器,将虚拟机Spark01中的HBase安装目录分发到虚拟机Spark02和Spark03。


scp -r /export/servers/hbase-1.2.1/ root@spark02:/export/servers/
scp -r /export/servers/hbase-1.2.1/ root@spark03:/export/servers/


   配置HBase环境变量

   分别在虚拟机Spark01、Spark02和Spark03,执行“vi /etc/profile”命令编辑系统环境变量文件profile,配置HBase环境变量。


export HBASE_HOME=/export/servers/hbase-1.2.1
export PATH=$PATH:$HBASE_HOME/bin

系统环境变量文件profile配置完成后保存并退出即可,随后执行“source /etc/profile”命令初始化系统环境变量使配置内容生效。



二、 启动HBase集群


   在确保ZooKeeper集群和Hadoop高可用集群正常启动的情况下,在虚拟机Spark01中执行“start-hbase.sh”命令启动HBase高可用集群。




   注意:启动HBase集群警告

     若启动HBase时出现“Java HotSpot™ 64-Bit Server VM warning: ignoring option xxx; support was removed in 8.0”警告信息,这是因为我们使用JDK的版本为8,此时我们可以在hbase-env.sh文件中注释如下内容即可,再次重启HBase集群便不会再出现警告。


#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

好了,HBase的集群部署我们就讲到这里了,下一篇我们将讲解Kafka集群部署



相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
分布式计算 Java 分布式数据库
nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署
国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html 内部邀请码:C8E245J (不写邀请码,没有现金送)国内私募机构九鼎控股打造,九鼎投资是在全国股份转让系统挂牌的公众公司,股票代码为430719,为“中国PE第一股”,市值超1000亿元。
1004 0
|
7月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
165 0
|
3月前
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
125 4
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
89 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
39 3
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
62 3
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
110 2
|
2月前
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
66 2
|
6月前
|
存储 分布式计算 Hadoop
Hadoop节点文件存储HBase设计目的
【6月更文挑战第2天】
70 6
|
6月前
|
存储 分布式计算 Hadoop
Hadoop节点文件存储Hbase高可靠性
【6月更文挑战第2天】
112 2