Hbase 配置流程

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:

配置Hbase之前需要先配置一下ZooKeeper.
在每台服务器的hosts文件中添加
192.168.111.200 master
192.168.111.199 slave1
192.168.111.198 slave2
如果在之前装集群的时候已经配置过了那么就不用再配置了
随便在某一台上解压zookeeper文件
zoopeeker文件可在官网上下载
image
image
image
下载好将压缩文件上传到任意一台linux系统上
tar -zxvf zookeeper-3.4.8.tar.gz
解压完之后配置/etc/profile文件(我是将文件解压到了/opt/SofteWare文件下)

#zookeeper
export ZOOKEEPER=/opt/SoftWare/zookeeper/zookeeper-3.4.8
export PATH=$PATH:$ZOOKEEPER/bin

然后执行source /etc/profile指令 更新
进入刚解压完的文件下的conf目录下
mkdir zoo.cfg文件
然后 cp zoo_sample.cfg zoo.cfg
修改里面的dataDir =//opt/SoftWare/zookeeper/zookeeper-3.4.8/data
添加

server=master:2888:3888
server=slave1:2888:3888
server=slave2:2888:3888

配置完之后将上述所有内容考到其他节点上
scp -r /opt/SoftWare/zookeeper root@salve1:/opt/SoftWare/
scp -r /opt/SoftWare/zookeeper root@salve2:/opt/SoftWare/
三台机器zookeeper-3.4.8/下面都创建data文件夹
然后再data文件夹中创建一个文件myid
然后里面写上相应的数字 如 master 下 写1

                    slave1  写     2
                    salve2   写    3

然后将 /etc/profile文件也按照上述步骤传给各节点 保持文件里面的内容一致
进行到这zookeeper就算配置好了
启动zookeeper zkServer.sh start
查看zookeeper服务状态zkServer.sh status

使用jps查询
结果为QuorumPeerMain

装完zookeeper之后我们来安装HBase

HBase安装配置

下载hbase文件
image
image
image

在任意一台上解压hbase的压缩文件 如在192.168.111.200
tar -xvf hbase-1.2.0-bin.tar.gz
配置添加环境变量到/etc/profile

#hbase
export HBASE_HOME=/opt/SoftWare/Hbase/hbase-1.2.0
export PATH=$PATH:$HBASE_HOME/bin

source /etc/profile

进入hbase的conf目录下 修改三个文件
hbase-env.sh
hbase-site.xml
regionservers
其中hbase-env.sh中 在文档的十多行位置处添加:

# The java implementation to use.  Java 1.7+ required.
# export JAVA_HOME=/usr/java/jdk1.6.0/
export JAVA_HOME=/opt/SoftWare/Hbase/hbase-1.2.0
# Extra Java CLASSPATH elements.  Optional.
# export HBASE_CLASSPATH=
然后在后面添加:
# Seconds to sleep between slave commands.  Unset by default.  This
# can be useful in large clusters, where, e.g., slave rsyncs can
# otherwise arrive faster than the master can service them.
# export HBASE_SLAVE_SLEEP=0.1

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=false

重点在于两句话
**
export JAVA_HOME=/opt/SoftWare/Hbase/hbase-1.2.0
export HBASE_MANAGES_ZK=false
**
hbase-site.xml中

<configuration>
       <property>
               <name>hbase.zookeeper.quorum</name>
               <value>master,salve1,salve2</value>
               <description>The directory shared by RegionServers.</description>
       </property>
       <property>
               <name>hbase.zookeeper.property.dataDir</name>
               <value>/opt/SoftWare/Hbase/hbase-1.2.0/zookeeperdata</value>
               <description>Property from ZooKeeper config zoo.cfg.
               The directory where the snapshot is stored.
               </description>
       </property>
       <property>
               <name>hbase.tmp.dir</name>
               <value>/opt/SoftWare/Hbase/hbase-1.2.0/tmpdata</value>
       </property>
       <property>
               <name>hbase.rootdir</name>
               <value>hdfs:/master:9000/hbase</value>
               <description>The directory shared by RegionServers.</description>
       </property>
       <property>
               <name>hbase.cluster.distributed</name>
               <value>true</value>
               <description>The mode the cluster will be in. Possible values are
               false: standalone and pseudo-distributed setups with managed Zookeeper
               true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
               </description>
       </property>
</configuration>

regionservers中添加各个从属服务器的ip或者hostname
master
salve1
salve2
(以个人集群名称更改value中的值 不难理解)
保存后分别把hbase的整个文件夹拷贝到其他服务器:

scp /opt/Software/Hbase/hbase-1.2.0 root@slave1 /opt/Software/
scp /opt/Software/Hbase/hbase-1.2.0 root@slave2 /opt/Software/

在hadoop的namenode节点上启动hbase服务
start-hbase.sh
启动后:jps
HRegionServer
HMaster
子节点
HRegionServer

启动顺序
Hadoop-hdfs------->hadoop-yarn------>zookeeper-------->hbase

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
7月前
|
分布式数据库 Hbase
HBase读取与写入流程
HBase读取与写入流程
74 0
|
机器学习/深度学习 分布式计算 Java
Hbase入门(二)——安装与配置
本文讲述如何安装,部署,启停HBase集群,如何通过命令行对Hbase进行基本操作。 并介绍Hbase的配置文件。 在安装前需要将所有先决条件安装完成。
844 0
Hbase入门(二)——安装与配置
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
80 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
96 2
|
6月前
|
存储 缓存 分布式计算
必知的技术知识:Hbase配置(伪分布式模式)
必知的技术知识:Hbase配置(伪分布式模式)
693 0
|
存储 分布式计算 Hadoop
Hadoop之Hbase安装和配置
Hadoop之Hbase安装和配置
1111 1
|
分布式计算 Hadoop 大数据
大数据平台搭建(容器环境)——HBase2.x分布式安装配置
大数据平台搭建(容器环境)——HBase2.x分布式安装配置
大数据平台搭建(容器环境)——HBase2.x分布式安装配置
|
存储 分布式计算 Hadoop
Linux/Hbase2.2.2安装教程_单机/伪分布式配置
Linux/Hbase2.2.2安装教程_单机/伪分布式配置
803 0
Linux/Hbase2.2.2安装教程_单机/伪分布式配置
|
存储 分布式计算 Hadoop
分布式数据库HBase的重要机制和原理的读/写流程
HBase是一个分布式数据库系统,基于Google的BigTable和Apache Hadoop的HDFS构建。它提供了一个高性能、可扩展的数据库平台,适用于大规模的数据存储和处理。在阿里云开发者社区中,很多开发者都会使用HBase进行数据存储和处理。本文将介绍HBase的读/写流程。
166 0
|
NoSQL 大数据 分布式数据库
【HBase】(6)-Compact合并StoreFile流程
【HBase】(6)-Compact合并StoreFile流程
271 0
【HBase】(6)-Compact合并StoreFile流程
下一篇
DataWorks