HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建(上)

简介: 写在前面step1 下载并解压HBasestep2 环境变量的配置step3 配置文件修改1. hbase-env.sh修改2. hbase-site.xml 修改请注意:3. regionservers 修改4. backup-masters修改step4 传递到其他节点

写在前面


本系列文章索引以及一些默认好的条件在传送门


默认使用master节点并用root用户登录终端进行操作

文章难免会有点小bug,如果有显而易见的错误,比如没有创建文件夹时就已经开始在该文件夹下操作,还请读者自行创建~


step1 下载并解压HBase


官网下载地址

博主因为课程需要以及版本问题,下载的版本为2.0.5

请注意版本兼容性问题,具体适配情况如下图:


0e0283a306b14aa094886e1d718878aa.png


因为Hadoop为3.1.1,所以说HBase下载2.0.5是支持的

d257547d42e2430a8169c07e7262e758.png


该版本下载地址

下载完成后,将该文件放置在/usr/local/

老样子,将该文件解压到该目录下并重命名

cd /usr/local
tar -zxvf hbase-2.0.5-bin.tar.gz
mv /usr/local/hbase-2.0.5 /usr/local/hbase


step2 环境变量的配置


修改~/.bashrc文件

vim ~/.bashrc

加入下面的几行:

export HBASE_HOME=/usr/local/hbase
export PATH=$HBASE_HOME/bin:$PATH
export PATH=$HBASE_HOME/lib:$PATH


source一下让使其生效

source ~/.bashrc

查看HBase版本以确实环境变量是否得体:


567c72f73f41441590600c3e84d8ec26.png


出现版本号之后则说明环境变量设置的没问题

但是在第一次处理的时候,博主遇到了连个重复的jar包,还是有关日志文件的slf4j,如下图:

daf8a22ddbbd49ad832f92648c558b1a.png

在这种情况下,我们需要删除一个,博主删除的是第一个:

rm -rf /usr/local/hbase/lib/slf4j-log4j12<Tab补全>


step3 配置文件修改


1. hbase-env.sh修改


跳到/usr/local/hbase/conf下,命令:

cd /usr/local/hbase/conf

修改hbase-env.sh,命令vim hbase-env.sh

加入:

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop
export HBASE_MANAGES_ZK=false


根据自己的JDK版本进行添加,切勿盲目CV


018e41a9779048258a6d87cf19969913.png


2. hbase-site.xml 修改


cd /usr/local/hbase/conf

vim hbase-site.xml

加入:

<property><name>hbase.cluster.distributed</name>  <value>true</value> 
</property>
<property>
    <name>hbase.rootdir</name><value>hdfs://master315:9000/hbase</value> 
</property>
<property><name>hbase.zookeeper.quorum</name>
   <value>master315,slave01-315,slave02-315</value>
   <description>The directory shared by RegionServers. </description>
 </property>
<property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
</property>
<property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/usr/local/zookeeper</value>
</property>


切勿盲目CV,一定看好自己的版本和名字并放到configuration标签之下


请注意:


要用HDFS为Hbase提供存储空间,

定义hbase.rootdir参数时HDFS文件系统的主机名端口号必须与Hadoop的配置文件core-site.xml中fs.default.name参数的配置一致


3. regionservers 修改


cd /usr/local/hbase/conf/

vim regionservers

在master节点加入:

记得删除原本的localhost

392c9293fd3448299c148637e15e8554.png


name1
name2
    .
    .
    .
namen  


4. backup-masters修改


这个是指出备份主机是谁,我们设为slave01

则编辑加入:

cd /usr/local/hbase/conf/

vim backup-masters

slave01


根据自己实际情况来看,切勿盲目CV


step4 传递到其他节点


将master节点下配置好的文件全部分发到slave1和slave2节点

命令:

scp -r /usr/local/hbase name1:/usr/local/
scp -r /usr/local/hbase name2:/usr/local/
                            .
                            .
                            .
scp -r /usr/local/hbase namen:/usr/local/


然后将配置好的环境变量的文件~/.bashrc也手动修改或者是传送到其他节点:

scp -r ~/.bashrc name1:~
scp -r ~/.bashrc name2:~
           .
           .
           .
scp -r ~/.bashrc namen:~


记得source一下使其生效

即在各个节点(除了master): source ~/.bashrc

相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3月前
|
存储 边缘计算 人工智能
云计算与分布式系统架构:驱动数字化时代的创新引擎
本文将探讨云计算与分布式系统架构在数字化时代中的重要性,介绍其基本概念和原理,并探讨其在推动技术创新、提升企业效率和满足用户需求方面的作用。同时,还将提出未来发展的趋势和挑战,为读者提供对云计算与分布式系统架构的深入理解。
|
2月前
|
Java Linux 开发工具
Centos7搭建minio分布式集群
Centos7搭建minio分布式集群
|
2月前
|
存储 缓存 固态存储
云计算基础-存储虚拟化(深信服aSAN分布式存储)
每秒钟的IOPS数,该指标主要用于评价小块IO性能,体现存储系统的IO延时能力和并发能力。业界一般默认IOPS指的是4K块大小的IO性能,该值越大说明性能越好。
56 1
|
3月前
|
人工智能 安全 大数据
云计算和分布式系统架构的未来趋势
云计算和分布式系统架构在过去几年中已经成为了科技行业的热门话题。这些技术正在改变着我们的生活和工作方式。本文将探讨云计算和分布式系统架构的未来趋势,以及它们对于科技行业和社会的影响。
|
3月前
|
存储 人工智能 物联网
云计算与分布式系统架构:未来技术驱动的创新之路
在当今数字化时代,云计算和分布式系统架构成为了企业和个人实现高效、可靠和灵活计算的关键。本文将探讨云计算与分布式系统架构的基本概念和原理,并介绍其在现代技术领域中的应用和未来发展趋势。
44 1
|
4月前
|
SQL 分布式数据库 HIVE
分布式NoSQL列存储数据库Hbase(六)
分布式NoSQL列存储数据库Hbase(六)
50 0
|
4月前
|
缓存 分布式计算 NoSQL
分布式NoSQL列存储数据库Hbase_MR集成Hbase:读写Hbase规则(九)
分布式NoSQL列存储数据库Hbase_MR集成Hbase:读写Hbase规则(九)
38 0
|
4月前
|
NoSQL 分布式数据库 数据库
分布式NoSQL列存储数据库Hbase_列族的设计(五)
分布式NoSQL列存储数据库Hbase_列族的设计(五)
200 0
|
4月前
|
存储 NoSQL 分布式数据库
分布式NoSQL列存储数据库Hbase_高级思想(八)
分布式NoSQL列存储数据库Hbase_高级思想(八)
41 0
|
4月前
|
存储 NoSQL 分布式数据库
分布式NoSQL列存储数据库Hbase Java API(四)
分布式NoSQL列存储数据库Hbase Java API(四)
21 0

热门文章

最新文章