E-MapReduce启动/停止HBase集群

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: E-MapReduce的HBase集群启动/停止方式

E-MapReduce的HBase集群启动/停止方式如下:

前置:

  • hbase软件包路径: /usr/lib/hbase-current
  • hbase软件配置路径: /etc/emr/hbase-conf/

1. 停止HBase集群

登陆master节点执行

sudo su hdfs
export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase"
/usr/lib/hbase-current/bin/stop-hbase.sh

2. 启动HBase集群

登陆master节点,执行下面脚本
sudo su hdfs

#/bin/bash
rs_cnt=`cat /etc/hosts | grep emr-worker | grep cluster | wc -l`
master_cnt=1
ha_flag=`grep -r high_availability_enable=true /usr/local/emr/emr-bin/script/`
if [[ ! -z $ha_flag ]];then
  master_cnt=2
fi
#start master
for ((i=1; i<=$master_cnt; i++));
do
    ssh emr-header-$i 'export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start master'
done

# start regionservers
for ((i=1; i<=$rs_cnt; i++));
do
    ssh emr-worker-$i 'export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start regionserver'
done

备注:
一般HBase集群停止后,E-MapReduce有进程监控,会自动将相关进程启动,不需要手工执行启动HBase集群。

3.单台起停HBase相关Daemon

3. 1 单台起停HMaster

备注: master节点上执行

  • 启动HMaster
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start master'
  • 停止HMaster
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh stop master'

3.2 单台起停HRegionServer

备注: regionserver节点上执行

  • 启动HRegionServer
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start regionserver'
  • 停止HRegionServer
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh stop regionserver'

3.3 master节点起停ThriftServer

备注: master-1节点上执行

  • 启动ThriftServer
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh start thrift -p 9099 >/dev/null 2>&1 &'
  • 停止ThriftServer
$sudo su root
$su -l hdfs -c  'export HBASE_HOME="/usr/lib/hbase-current";export HBASE_CONF_DIR="/etc/emr/hbase-conf";export HBASE_LOG_DIR="/mnt/disk1/log/hadoop-hbase";/usr/lib/hbase-current/bin/hbase-daemon.sh stop thrift'

备注:一般HBase停止使用grace_stop.sh

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
5月前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
2月前
|
分布式计算 大数据 分布式数据库
"揭秘HBase MapReduce高效数据处理秘诀:四步实战攻略,让你轻松玩转大数据分析!"
【8月更文挑战第17天】大数据时代,HBase以高性能、可扩展性成为关键的数据存储解决方案。结合MapReduce分布式计算框架,能高效处理HBase中的大规模数据。本文通过实例展示如何配置HBase集群、编写Map和Reduce函数,以及运行MapReduce作业来计算HBase某列的平均值。此过程不仅限于简单的统计分析,还可扩展至更复杂的数据处理任务,为企业提供强有力的大数据技术支持。
43 1
|
1月前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
39 0
|
2月前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
|
2月前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
|
2月前
|
存储 分布式计算 分布式数据库
《HBase MapReduce之旅:我的学习笔记与心得》——跟随我的步伐,一同探索HBase世界,揭开MapReduce的神秘面纱,分享那些挑战与收获,让你在数据的海洋里畅游无阻!
【8月更文挑战第17天】HBase是Apache顶级项目,作为Bigtable的开源版,它是一个非关系型、分布式数据库,具备高可扩展性和性能。结合HDFS存储和MapReduce计算框架,以及Zookeeper协同服务,HBase支持海量数据高效管理。MapReduce通过将任务拆解并在集群上并行执行,极大提升处理速度。学习HBase MapReduce涉及理解其数据模型、编程模型及应用实践,虽然充满挑战,但收获颇丰,对职业发展大有裨益。
33 0
|
5月前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群
|
5月前
|
分布式计算 Hadoop Java
Hbase集群搭建
Hbase集群搭建
|
5月前
|
存储 分布式计算 分布式数据库
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
46 0
|
5月前
|
分布式计算 Java Hadoop
IDEA 打包MapReduce程序到集群运行的两种方式以及XShell和Xftp过期的解决
IDEA 打包MapReduce程序到集群运行的两种方式以及XShell和Xftp过期的解决
下一篇
无影云桌面