HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建(上)

简介: 写在前面step1 下载并解压HBasestep2 环境变量的配置step3 配置文件修改1. hbase-env.sh修改2. hbase-site.xml 修改请注意:3. regionservers 修改4. backup-masters修改step4 传递到其他节点

写在前面


本系列文章索引以及一些默认好的条件在传送门


默认使用master节点并用root用户登录终端进行操作

文章难免会有点小bug,如果有显而易见的错误,比如没有创建文件夹时就已经开始在该文件夹下操作,还请读者自行创建~


step1 下载并解压HBase


官网下载地址

博主因为课程需要以及版本问题,下载的版本为2.0.5

请注意版本兼容性问题,具体适配情况如下图:


0e0283a306b14aa094886e1d718878aa.png


因为Hadoop为3.1.1,所以说HBase下载2.0.5是支持的

d257547d42e2430a8169c07e7262e758.png


该版本下载地址

下载完成后,将该文件放置在/usr/local/

老样子,将该文件解压到该目录下并重命名

cd /usr/local
tar -zxvf hbase-2.0.5-bin.tar.gz
mv /usr/local/hbase-2.0.5 /usr/local/hbase


step2 环境变量的配置


修改~/.bashrc文件

vim ~/.bashrc

加入下面的几行:

export HBASE_HOME=/usr/local/hbase
export PATH=$HBASE_HOME/bin:$PATH
export PATH=$HBASE_HOME/lib:$PATH


source一下让使其生效

source ~/.bashrc

查看HBase版本以确实环境变量是否得体:


567c72f73f41441590600c3e84d8ec26.png


出现版本号之后则说明环境变量设置的没问题

但是在第一次处理的时候,博主遇到了连个重复的jar包,还是有关日志文件的slf4j,如下图:

daf8a22ddbbd49ad832f92648c558b1a.png

在这种情况下,我们需要删除一个,博主删除的是第一个:

rm -rf /usr/local/hbase/lib/slf4j-log4j12<Tab补全>


step3 配置文件修改


1. hbase-env.sh修改


跳到/usr/local/hbase/conf下,命令:

cd /usr/local/hbase/conf

修改hbase-env.sh,命令vim hbase-env.sh

加入:

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop
export HBASE_MANAGES_ZK=false


根据自己的JDK版本进行添加,切勿盲目CV


018e41a9779048258a6d87cf19969913.png


2. hbase-site.xml 修改


cd /usr/local/hbase/conf

vim hbase-site.xml

加入:

<property><name>hbase.cluster.distributed</name>  <value>true</value> 
</property>
<property>
    <name>hbase.rootdir</name><value>hdfs://master315:9000/hbase</value> 
</property>
<property><name>hbase.zookeeper.quorum</name>
   <value>master315,slave01-315,slave02-315</value>
   <description>The directory shared by RegionServers. </description>
 </property>
<property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
</property>
<property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/usr/local/zookeeper</value>
</property>


切勿盲目CV,一定看好自己的版本和名字并放到configuration标签之下


请注意:


要用HDFS为Hbase提供存储空间,

定义hbase.rootdir参数时HDFS文件系统的主机名端口号必须与Hadoop的配置文件core-site.xml中fs.default.name参数的配置一致


3. regionservers 修改


cd /usr/local/hbase/conf/

vim regionservers

在master节点加入:

记得删除原本的localhost

392c9293fd3448299c148637e15e8554.png


name1
name2
    .
    .
    .
namen  


4. backup-masters修改


这个是指出备份主机是谁,我们设为slave01

则编辑加入:

cd /usr/local/hbase/conf/

vim backup-masters

slave01


根据自己实际情况来看,切勿盲目CV


step4 传递到其他节点


将master节点下配置好的文件全部分发到slave1和slave2节点

命令:

scp -r /usr/local/hbase name1:/usr/local/
scp -r /usr/local/hbase name2:/usr/local/
                            .
                            .
                            .
scp -r /usr/local/hbase namen:/usr/local/


然后将配置好的环境变量的文件~/.bashrc也手动修改或者是传送到其他节点:

scp -r ~/.bashrc name1:~
scp -r ~/.bashrc name2:~
           .
           .
           .
scp -r ~/.bashrc namen:~


记得source一下使其生效

即在各个节点(除了master): source ~/.bashrc

目录
相关文章
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
476 21
|
Java Linux
CentOS环境搭建Elasticsearch集群
至此,您已成功在CentOS环境下搭建了Elasticsearch集群。通过以上介绍和步骤,相信您对部署Elasticsearch集群有了充分的了解。最后祝您在使用Elasticsearch集群的过程中顺利开展工作!
673 22
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境: 16台某品牌R730xd服务器节点,每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障: 数据库底层文件被误删除,数据库不能使用。要求恢复hbase和hive数据库。
548 12
|
分布式计算 Java Hadoop
杨校老师课堂之分布式数据库HBase的部署和基本操作
杨校老师课堂之分布式数据库HBase的部署和基本操作
277 0
|
分布式计算 Hadoop Java
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
|
存储 Kubernetes 负载均衡
CentOS 7.9二进制部署K8S 1.28.3+集群实战
本文详细介绍了在CentOS 7.9上通过二进制方式部署Kubernetes 1.28.3+集群的全过程,包括环境准备、组件安装、证书生成、高可用配置以及网络插件部署等关键步骤。
2954 4
CentOS 7.9二进制部署K8S 1.28.3+集群实战
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 监控关注的核心指标包括 Master 和 RegionServer 的进程存在性、RPC 请求数、JVM 内存使用率、磁盘和网络错误、延迟和吞吐量、资源利用率及 JVM 使用信息。通过 Grafana 可视化和告警规则,帮助管理员实时监控集群性能和健康状况。
|
Kubernetes Linux API
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
该博客文章详细介绍了在CentOS 7.6操作系统上使用kubeadm工具部署kubernetes 1.17.2版本的测试集群的过程,包括主机环境准备、安装Docker、配置kubelet、初始化集群、添加节点、部署网络插件以及配置k8s node节点管理api server服务器。
708 0
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群,包括一个主节点和两个工作节点。各节点运行CentOS 7系统,最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl,以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
1525 4
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
449 4