HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建(上)

简介: 写在前面step1 下载并解压HBasestep2 环境变量的配置step3 配置文件修改1. hbase-env.sh修改2. hbase-site.xml 修改请注意:3. regionservers 修改4. backup-masters修改step4 传递到其他节点

写在前面


本系列文章索引以及一些默认好的条件在传送门


默认使用master节点并用root用户登录终端进行操作

文章难免会有点小bug,如果有显而易见的错误,比如没有创建文件夹时就已经开始在该文件夹下操作,还请读者自行创建~


step1 下载并解压HBase


官网下载地址

博主因为课程需要以及版本问题,下载的版本为2.0.5

请注意版本兼容性问题,具体适配情况如下图:


0e0283a306b14aa094886e1d718878aa.png


因为Hadoop为3.1.1,所以说HBase下载2.0.5是支持的

d257547d42e2430a8169c07e7262e758.png


该版本下载地址

下载完成后,将该文件放置在/usr/local/

老样子,将该文件解压到该目录下并重命名

cd /usr/local
tar -zxvf hbase-2.0.5-bin.tar.gz
mv /usr/local/hbase-2.0.5 /usr/local/hbase


step2 环境变量的配置


修改~/.bashrc文件

vim ~/.bashrc

加入下面的几行:

export HBASE_HOME=/usr/local/hbase
export PATH=$HBASE_HOME/bin:$PATH
export PATH=$HBASE_HOME/lib:$PATH


source一下让使其生效

source ~/.bashrc

查看HBase版本以确实环境变量是否得体:


567c72f73f41441590600c3e84d8ec26.png


出现版本号之后则说明环境变量设置的没问题

但是在第一次处理的时候,博主遇到了连个重复的jar包,还是有关日志文件的slf4j,如下图:

daf8a22ddbbd49ad832f92648c558b1a.png

在这种情况下,我们需要删除一个,博主删除的是第一个:

rm -rf /usr/local/hbase/lib/slf4j-log4j12<Tab补全>


step3 配置文件修改


1. hbase-env.sh修改


跳到/usr/local/hbase/conf下,命令:

cd /usr/local/hbase/conf

修改hbase-env.sh,命令vim hbase-env.sh

加入:

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop
export HBASE_MANAGES_ZK=false


根据自己的JDK版本进行添加,切勿盲目CV


018e41a9779048258a6d87cf19969913.png


2. hbase-site.xml 修改


cd /usr/local/hbase/conf

vim hbase-site.xml

加入:

<property><name>hbase.cluster.distributed</name>  <value>true</value> 
</property>
<property>
    <name>hbase.rootdir</name><value>hdfs://master315:9000/hbase</value> 
</property>
<property><name>hbase.zookeeper.quorum</name>
   <value>master315,slave01-315,slave02-315</value>
   <description>The directory shared by RegionServers. </description>
 </property>
<property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
</property>
<property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/usr/local/zookeeper</value>
</property>


切勿盲目CV,一定看好自己的版本和名字并放到configuration标签之下


请注意:


要用HDFS为Hbase提供存储空间,

定义hbase.rootdir参数时HDFS文件系统的主机名端口号必须与Hadoop的配置文件core-site.xml中fs.default.name参数的配置一致


3. regionservers 修改


cd /usr/local/hbase/conf/

vim regionservers

在master节点加入:

记得删除原本的localhost

392c9293fd3448299c148637e15e8554.png


name1
name2
    .
    .
    .
namen  


4. backup-masters修改


这个是指出备份主机是谁,我们设为slave01

则编辑加入:

cd /usr/local/hbase/conf/

vim backup-masters

slave01


根据自己实际情况来看,切勿盲目CV


step4 传递到其他节点


将master节点下配置好的文件全部分发到slave1和slave2节点

命令:

scp -r /usr/local/hbase name1:/usr/local/
scp -r /usr/local/hbase name2:/usr/local/
                            .
                            .
                            .
scp -r /usr/local/hbase namen:/usr/local/


然后将配置好的环境变量的文件~/.bashrc也手动修改或者是传送到其他节点:

scp -r ~/.bashrc name1:~
scp -r ~/.bashrc name2:~
           .
           .
           .
scp -r ~/.bashrc namen:~


记得source一下使其生效

即在各个节点(除了master): source ~/.bashrc

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
13天前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
2月前
|
存储 分布式计算 负载均衡
分布式计算模型和集群计算模型的区别
【10月更文挑战第18天】分布式计算模型和集群计算模型各有特点和优势,在实际应用中需要根据具体的需求和条件选择合适的计算架构模式,以达到最佳的计算效果和性能。
87 2
|
3月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
64 1
|
3月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
48 1
|
3月前
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
61 1
|
3月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
67 1
|
2月前
|
存储 监控 大数据
构建高可用性ClickHouse集群:从单节点到分布式
【10月更文挑战第26天】随着业务的不断增长,单一的数据存储解决方案可能无法满足日益增加的数据处理需求。在大数据时代,数据库的性能、可扩展性和稳定性成为企业关注的重点。ClickHouse 是一个用于联机分析处理(OLAP)的列式数据库管理系统(DBMS),以其卓越的查询性能和高吞吐量而闻名。本文将从我的个人角度出发,分享如何将单节点 ClickHouse 扩展为高可用性的分布式集群,以提升系统的稳定性和可靠性。
168 0
|
3月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
58 0
|
4月前
|
存储 Kubernetes 数据安全/隐私保护
k8s对接ceph集群的分布式文件系统CephFS
文章介绍了如何在Kubernetes集群中使用CephFS作为持久化存储,包括通过secretFile和secretRef两种方式进行认证和配置。
136 5
|
7月前
|
Prometheus 运维 监控
解锁分布式云多集群统一监控的云上最佳实践
为应对分布式云多集群监控的挑战,阿里云可观测监控 Prometheus 版结合 ACK One,凭借高效纳管与全局监控方案有效破解了用户在该场景的监控运维痛点,为日益增长的业务需求提供了一站式、高效、统一的监控解决方案,实现成本与运维效率的双重优化。助力企业的数字化转型与业务快速增长,在复杂多变的云原生时代中航行,提供了一个强有力的罗盘与风帆。
55903 29