E-MapReduce启动/停止HBase集群

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: E-MapReduce的HBase集群启动/停止方式

E-MapReduce的HBase集群启动/停止方式如下:

前置:

  • hbase软件包路径: /usr/lib/hbase-current
  • hbase软件配置路径: /etc/emr/hbase-conf/

1. 停止HBase集群

登陆master节点执行

sudo su hdfs
export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase"
/usr/lib/hbase-current/bin/stop-hbase.sh

2. 启动HBase集群

登陆master节点,执行下面脚本
sudo su hdfs

#/bin/bash
rs_cnt=`cat /etc/hosts | grep emr-worker | grep cluster | wc -l`
master_cnt=1
ha_flag=`grep -r high_availability_enable=true /usr/local/emr/emr-bin/script/`
if [[ ! -z $ha_flag ]];then
  master_cnt=2
fi
#start master
for ((i=1; i<=$master_cnt; i++));
do
    ssh emr-header-$i 'export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start master'
done

# start regionservers
for ((i=1; i<=$rs_cnt; i++));
do
    ssh emr-worker-$i 'export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start regionserver'
done

备注:
一般HBase集群停止后,E-MapReduce有进程监控,会自动将相关进程启动,不需要手工执行启动HBase集群。

3.单台起停HBase相关Daemon

3. 1 单台起停HMaster

备注: master节点上执行

  • 启动HMaster
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start master'
  • 停止HMaster
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh stop master'

3.2 单台起停HRegionServer

备注: regionserver节点上执行

  • 启动HRegionServer
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start regionserver'
  • 停止HRegionServer
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh stop regionserver'

3.3 master节点起停ThriftServer

备注: master-1节点上执行

  • 启动ThriftServer
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start thrift -p 9099 >/dev/null 2>&1 &'
  • 停止ThriftServer
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh stop thrift'

备注:一般HBase停止使用grace_stop.sh

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 监控关注的核心指标包括 Master 和 RegionServer 的进程存在性、RPC 请求数、JVM 内存使用率、磁盘和网络错误、延迟和吞吐量、资源利用率及 JVM 使用信息。通过 Grafana 可视化和告警规则,帮助管理员实时监控集群性能和健康状况。
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
80 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
38 3
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
60 3
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
110 3
|
2月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
50 1
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
56 1
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
104 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
48 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
57 0
下一篇
DataWorks