Hadoop集群hbase的安装

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Hadoop集群hbase的安装

Hbase安装

(master节点安装后分发给工作节点)

安装hbase需要先安装zookeeper

上传软件包

创建安装的文件目录

mkdir /usr/zookeeper/

解压软件

tar -zxvf /opt/bigbata/zookeeper-3.4.14.tar.gz -C /usr/zookeeper/

配置zookeeper的环境变量

vi /etc/profile

添加内容如下:

export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin

重载环境变量

source /etc/profile

创建存放数据,日志的文件

mkdir /usr/zookeeper/zookeeper-3.4.14/zkData
mkdir /usr/zookeeper/zookeeper-3.4.14/zkLog

修改zoo.cfg配置文件

cd /usr/zookeeper/zookeeper-3.4.14/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

修改内容如下:

dataDir=/usr/zookeeper/zookeeper-3.4.14/zkData
dataLogDir=/usr/zookeeper/zookeeper-3.4.14/zkLog

启动zookeeper

master节点启动(安装有环境变量)

zkServer.sh start

等待检查启动状态

zkServer.sh status

都显示 则说明zookeeper安装成功

systemctl添加zookeeper服务

添加内容如下:

[Unit]
# 服务描述
Description=cosmo-bdp zookeeper
# 在网络服务启动后运行
After=network.target
[Service]
Type=forking
# jdk环境变量
Environment=JAVA_HOME=/usr/local/jdk ZOO_LOG_DIR=/usr/zookeeper/zookeeper-3.4.14/zkLog
# 启动命令
ExecStart=/usr/zookeeper/zookeeper-3.4.14/bin/zkServer.sh start
# 停止命令
ExecStop=/usr/zookeeper/zookeeper-3.4.14/bin/zkServer.sh stop
# 重载命令
ExecReload=/usr/zookeeper/zookeeper-3.4.14/bin/zkServer.sh restart
[Install]
WantedBy=multi-user.target

保存,退出

重新加载配置文件(服务不停止加载)

systemctl daemon-reload

重启zookeeper服务

systemctl restart zookeeper

配置开机自启zookeeper服务

systemctl enable zookeep

hbase安装需要java环境。在这之前装有java环境,所以接下来只安装hbase就行

创建安装目录

mkdir /usr/hbase/

解压hbase压缩包(根据自己上传的位置,寻找压缩包,进行解压)

cd /opt/bigbata
tar -zxvf hbase-1.7.1-bin.tar.gz -C /usr/hbase/

配置hbase的环境变量

vi /etc/profile

添加内容如下:

export HBASE_HOME=/usr/hbase/hbase-1.7.1
export PATH=$PATH:$HBASE_HOME/bin

重载环境变量

source /etc/profile

修改hbase的配置文件hbase-env.sh

vi /usr/hbase/hbase-1.7.1/conf/hbase-env.sh 

修改内容如下:(修找字段,做出修改)

JAVA_HOME为java程序所在位置;

export JAVA_HOME=/usr/local/jdk

HBASE_MANAGES_ZK表示是否使用HBase自带的zookeeper环境;

export HBASE_MANAGES_ZK=false

HBASE_CLASSPATH指向hbase配置文件的路径。

export HBASE_CLASSPATH=/usr/hbase/hbase-1.7.1/conf

修改hbase的配置文件hbase-site.xml (复制原文件后,再添加)

cp /usr/hbase/hbase-1.7.1/conf/hbase-site.xml /usr/hbase/hbase-1.7.1/conf/hbase-site.xmls 
rm /usr/hbase/hbase-1.7.1/conf/hbase-site.xml 
vi /usr/hbase/hbase-1.7.1/conf/hbase-site.xml 

添加后内容如下:

<configuration>
 <property>  
     <name>hbase.rootdir</name>  
     <value>hdfs://master:9000/hbase</value>  
 </property>  
 <property>  
     <name>hbase.cluster.distributed</name>  
     <value>true</value>  
 </property>  
 <property>  
     <name>hbase.master</name>  
     <value>hdfs://master:6000</value>  
 </property>  
 <property> 
     <name>hbase.zookeeper.quorum</name>  
     <value>master,node1,node2</value>  
 </property>  
 <property>  
     <name>hbase.zookeeper.property.dataDir</name>  
     <value>/usr/zookeeper/zookeeper-3.4.14</value>  
 </property>  
</configuration>

保存,退出

修改hbase的配置文件regionservers

vi /usr/hbase/hbase-1.7.1/conf/regionservers

修改后内容如下:

node1
node2

复制文件到HDFS

cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml  /usr/hbase/hbase-1.7.1/conf/
cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/hbase/hbase-1.7.1/conf/

分发hbase给其他节点

scp -r /usr/hbase/ node1:/usr/
scp -r /usr/hbase/ node2:/usr/

node节点修改配置文件

vi /etc/profile

增加内容如下:

export HBASE_HOME=/usr/hbase/hbase-1.7.1
export PATH=$PATH:$HBASE_HOME/bin

重载环境变量

source /etc/profile

hadoop启动

start-all.sh(master开启)

hadoop停止

stop-all.sh

hive启动

hive(先启动服务端(node1)在启动客户端(master))

zookeeper启动(master)

systemctl start zookeeper

hbase启动

start-hbase.sh 

感谢大家的支持,关注,评论,点赞!

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
149 6
|
9天前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 监控关注的核心指标包括 Master 和 RegionServer 的进程存在性、RPC 请求数、JVM 内存使用率、磁盘和网络错误、延迟和吞吐量、资源利用率及 JVM 使用信息。通过 Grafana 可视化和告警规则,帮助管理员实时监控集群性能和健康状况。
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
69 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
33 3
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
57 3
|
分布式计算 Ubuntu Hadoop
Hadoop 的安装和使用(基于Linux~Ubuntu的虚拟机)
Hadoop 的安装和使用(基于Linux~Ubuntu的虚拟机)
1026 0
Hadoop 的安装和使用(基于Linux~Ubuntu的虚拟机)
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
65 2
|
18天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
63 2
|
18天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
57 1
|
1月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
55 1