Hadoop集群hbase的安装

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: Hadoop集群hbase的安装

Hbase安装

(master节点安装后分发给工作节点)

安装hbase需要先安装zookeeper

上传软件包

创建安装的文件目录

mkdir /usr/zookeeper/

解压软件

tar -zxvf /opt/bigbata/zookeeper-3.4.14.tar.gz -C /usr/zookeeper/

配置zookeeper的环境变量

vi /etc/profile

添加内容如下:

export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin

重载环境变量

source /etc/profile

创建存放数据,日志的文件

mkdir /usr/zookeeper/zookeeper-3.4.14/zkData
mkdir /usr/zookeeper/zookeeper-3.4.14/zkLog

修改zoo.cfg配置文件

cd /usr/zookeeper/zookeeper-3.4.14/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

修改内容如下:

dataDir=/usr/zookeeper/zookeeper-3.4.14/zkData
dataLogDir=/usr/zookeeper/zookeeper-3.4.14/zkLog

启动zookeeper

master节点启动(安装有环境变量)

zkServer.sh start

等待检查启动状态

zkServer.sh status

都显示 则说明zookeeper安装成功

systemctl添加zookeeper服务

添加内容如下:

[Unit]
# 服务描述
Description=cosmo-bdp zookeeper
# 在网络服务启动后运行
After=network.target
[Service]
Type=forking
# jdk环境变量
Environment=JAVA_HOME=/usr/local/jdk ZOO_LOG_DIR=/usr/zookeeper/zookeeper-3.4.14/zkLog
# 启动命令
ExecStart=/usr/zookeeper/zookeeper-3.4.14/bin/zkServer.sh start
# 停止命令
ExecStop=/usr/zookeeper/zookeeper-3.4.14/bin/zkServer.sh stop
# 重载命令
ExecReload=/usr/zookeeper/zookeeper-3.4.14/bin/zkServer.sh restart
[Install]
WantedBy=multi-user.target

保存,退出

重新加载配置文件(服务不停止加载)

systemctl daemon-reload

重启zookeeper服务

systemctl restart zookeeper

配置开机自启zookeeper服务

systemctl enable zookeep

hbase安装需要java环境。在这之前装有java环境,所以接下来只安装hbase就行

创建安装目录

mkdir /usr/hbase/

解压hbase压缩包(根据自己上传的位置,寻找压缩包,进行解压)

cd /opt/bigbata
tar -zxvf hbase-1.7.1-bin.tar.gz -C /usr/hbase/

配置hbase的环境变量

vi /etc/profile

添加内容如下:

export HBASE_HOME=/usr/hbase/hbase-1.7.1
export PATH=$PATH:$HBASE_HOME/bin

重载环境变量

source /etc/profile

修改hbase的配置文件hbase-env.sh

vi /usr/hbase/hbase-1.7.1/conf/hbase-env.sh 

修改内容如下:(修找字段,做出修改)

JAVA_HOME为java程序所在位置;

export JAVA_HOME=/usr/local/jdk

HBASE_MANAGES_ZK表示是否使用HBase自带的zookeeper环境;

export HBASE_MANAGES_ZK=false

HBASE_CLASSPATH指向hbase配置文件的路径。

export HBASE_CLASSPATH=/usr/hbase/hbase-1.7.1/conf

修改hbase的配置文件hbase-site.xml (复制原文件后,再添加)

cp /usr/hbase/hbase-1.7.1/conf/hbase-site.xml /usr/hbase/hbase-1.7.1/conf/hbase-site.xmls 
rm /usr/hbase/hbase-1.7.1/conf/hbase-site.xml 
vi /usr/hbase/hbase-1.7.1/conf/hbase-site.xml 

添加后内容如下:

<configuration>
 <property>  
     <name>hbase.rootdir</name>  
     <value>hdfs://master:9000/hbase</value>  
 </property>  
 <property>  
     <name>hbase.cluster.distributed</name>  
     <value>true</value>  
 </property>  
 <property>  
     <name>hbase.master</name>  
     <value>hdfs://master:6000</value>  
 </property>  
 <property> 
     <name>hbase.zookeeper.quorum</name>  
     <value>master,node1,node2</value>  
 </property>  
 <property>  
     <name>hbase.zookeeper.property.dataDir</name>  
     <value>/usr/zookeeper/zookeeper-3.4.14</value>  
 </property>  
</configuration>

保存,退出

修改hbase的配置文件regionservers

vi /usr/hbase/hbase-1.7.1/conf/regionservers

修改后内容如下:

node1
node2

复制文件到HDFS

cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml  /usr/hbase/hbase-1.7.1/conf/
cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/hbase/hbase-1.7.1/conf/

分发hbase给其他节点

scp -r /usr/hbase/ node1:/usr/
scp -r /usr/hbase/ node2:/usr/

node节点修改配置文件

vi /etc/profile

增加内容如下:

export HBASE_HOME=/usr/hbase/hbase-1.7.1
export PATH=$PATH:$HBASE_HOME/bin

重载环境变量

source /etc/profile

hadoop启动

start-all.sh(master开启)

hadoop停止

stop-all.sh

hive启动

hive(先启动服务端(node1)在启动客户端(master))

zookeeper启动(master)

systemctl start zookeeper

hbase启动

start-hbase.sh 

感谢大家的支持,关注,评论,点赞!

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
195 6
|
1月前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 监控关注的核心指标包括 Master 和 RegionServer 的进程存在性、RPC 请求数、JVM 内存使用率、磁盘和网络错误、延迟和吞吐量、资源利用率及 JVM 使用信息。通过 Grafana 可视化和告警规则,帮助管理员实时监控集群性能和健康状况。
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
87 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
39 3
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
62 3
|
7月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
164 0
|
3月前
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
122 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
108 2
|
2月前
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
66 2
|
6月前
|
存储 分布式计算 Hadoop
Hadoop节点文件存储HBase设计目的
【6月更文挑战第2天】
70 6