Hadoop集群hbase的安装

简介: Hadoop集群hbase的安装

Hbase安装

(master节点安装后分发给工作节点)

安装hbase需要先安装zookeeper

上传软件包

创建安装的文件目录

mkdir /usr/zookeeper/

解压软件

tar -zxvf /opt/bigbata/zookeeper-3.4.14.tar.gz -C /usr/zookeeper/

配置zookeeper的环境变量

vi /etc/profile

添加内容如下:

export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_HOME/bin

重载环境变量

source /etc/profile

创建存放数据,日志的文件

mkdir /usr/zookeeper/zookeeper-3.4.14/zkData
mkdir /usr/zookeeper/zookeeper-3.4.14/zkLog

修改zoo.cfg配置文件

cd /usr/zookeeper/zookeeper-3.4.14/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

修改内容如下:

dataDir=/usr/zookeeper/zookeeper-3.4.14/zkData
dataLogDir=/usr/zookeeper/zookeeper-3.4.14/zkLog

启动zookeeper

master节点启动(安装有环境变量)

zkServer.sh start

等待检查启动状态

zkServer.sh status

都显示 则说明zookeeper安装成功

systemctl添加zookeeper服务

添加内容如下:

[Unit]
# 服务描述
Description=cosmo-bdp zookeeper
# 在网络服务启动后运行
After=network.target
[Service]
Type=forking
# jdk环境变量
Environment=JAVA_HOME=/usr/local/jdk ZOO_LOG_DIR=/usr/zookeeper/zookeeper-3.4.14/zkLog
# 启动命令
ExecStart=/usr/zookeeper/zookeeper-3.4.14/bin/zkServer.sh start
# 停止命令
ExecStop=/usr/zookeeper/zookeeper-3.4.14/bin/zkServer.sh stop
# 重载命令
ExecReload=/usr/zookeeper/zookeeper-3.4.14/bin/zkServer.sh restart
[Install]
WantedBy=multi-user.target

保存,退出

重新加载配置文件(服务不停止加载)

systemctl daemon-reload

重启zookeeper服务

systemctl restart zookeeper

配置开机自启zookeeper服务

systemctl enable zookeep

hbase安装需要java环境。在这之前装有java环境,所以接下来只安装hbase就行

创建安装目录

mkdir /usr/hbase/

解压hbase压缩包(根据自己上传的位置,寻找压缩包,进行解压)

cd /opt/bigbata
tar -zxvf hbase-1.7.1-bin.tar.gz -C /usr/hbase/

配置hbase的环境变量

vi /etc/profile

添加内容如下:

export HBASE_HOME=/usr/hbase/hbase-1.7.1
export PATH=$PATH:$HBASE_HOME/bin

重载环境变量

source /etc/profile

修改hbase的配置文件hbase-env.sh

vi /usr/hbase/hbase-1.7.1/conf/hbase-env.sh 

修改内容如下:(修找字段,做出修改)

JAVA_HOME为java程序所在位置;

export JAVA_HOME=/usr/local/jdk

HBASE_MANAGES_ZK表示是否使用HBase自带的zookeeper环境;

export HBASE_MANAGES_ZK=false

HBASE_CLASSPATH指向hbase配置文件的路径。

export HBASE_CLASSPATH=/usr/hbase/hbase-1.7.1/conf

修改hbase的配置文件hbase-site.xml (复制原文件后,再添加)

cp /usr/hbase/hbase-1.7.1/conf/hbase-site.xml /usr/hbase/hbase-1.7.1/conf/hbase-site.xmls 
rm /usr/hbase/hbase-1.7.1/conf/hbase-site.xml 
vi /usr/hbase/hbase-1.7.1/conf/hbase-site.xml 

添加后内容如下:

<configuration>
 <property>  
     <name>hbase.rootdir</name>  
     <value>hdfs://master:9000/hbase</value>  
 </property>  
 <property>  
     <name>hbase.cluster.distributed</name>  
     <value>true</value>  
 </property>  
 <property>  
     <name>hbase.master</name>  
     <value>hdfs://master:6000</value>  
 </property>  
 <property> 
     <name>hbase.zookeeper.quorum</name>  
     <value>master,node1,node2</value>  
 </property>  
 <property>  
     <name>hbase.zookeeper.property.dataDir</name>  
     <value>/usr/zookeeper/zookeeper-3.4.14</value>  
 </property>  
</configuration>

保存,退出

修改hbase的配置文件regionservers

vi /usr/hbase/hbase-1.7.1/conf/regionservers

修改后内容如下:

node1
node2

复制文件到HDFS

cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml  /usr/hbase/hbase-1.7.1/conf/
cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/hbase/hbase-1.7.1/conf/

分发hbase给其他节点

scp -r /usr/hbase/ node1:/usr/
scp -r /usr/hbase/ node2:/usr/

node节点修改配置文件

vi /etc/profile

增加内容如下:

export HBASE_HOME=/usr/hbase/hbase-1.7.1
export PATH=$PATH:$HBASE_HOME/bin

重载环境变量

source /etc/profile

hadoop启动

start-all.sh(master开启)

hadoop停止

stop-all.sh

hive启动

hive(先启动服务端(node1)在启动客户端(master))

zookeeper启动(master)

systemctl start zookeeper

hbase启动

start-hbase.sh 

感谢大家的支持,关注,评论,点赞!

目录
相关文章
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
1195 6
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上,这些步骤如诗如画,但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面,这就是你的开发环境。接下来,尽情去创造吧,祝编程愉快!
1084 19
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
482 21
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 监控关注的核心指标包括 Master 和 RegionServer 的进程存在性、RPC 请求数、JVM 内存使用率、磁盘和网络错误、延迟和吞吐量、资源利用率及 JVM 使用信息。通过 Grafana 可视化和告警规则,帮助管理员实时监控集群性能和健康状况。
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
304 3
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
340 3
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
541 0
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
451 4
|
分布式计算 Hadoop 关系型数据库
Hadoop任务scan Hbase 导出数据量变小分析
Hadoop任务scan Hbase 导出数据量变小分析
265 0
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
455 4

相关实验场景

更多