记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

说明:在ssh,用root用户登录到header(master)机器上,手工执行以下命令进行业务调试。

常用命令:

1. env  (忘记是大写ENV,还是小写env,来查看环境变量)

2. cat /etc/hosts (查看EMR集群机器的hostname ip配置)

3. 在header机器上,切换到hadoop用户后,可以 ssh@emr-worker-1 直接登录到worker-1机器上,因为集群的机器,hadoop用户已经配置互相信任关系。


启动:

###start zk
su hadoop  -c "/usr/lib/zookeeper-current/bin/zkServer.sh start"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh start";
done

###start hdfs
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode"
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start secondarynamenode"
for i in `seq 1 2`;
do
 su hdfs  -c  "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start datanode";
done

###start yarn
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start resourcemanager"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh start nodemanager";
done

su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start proxyserver"

###start mapreduce historyserver
su hadoop  -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh start historyserver"


停止:
###stop spark
su hadoop  -c "/usr/lib/spark-current/sbin/stop-history-server.sh"

###stop mapreduce historyserver
su hadoop  -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh stop historyserver"

###stop yarn
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop proxyserver"

for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager";
done
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop resourcemanager"

###stop hdfs
for i in `seq 1 2`;
do
 su hdfs  -c  "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop datanode";
done
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop secondarynamenode"
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode"

###stop zk
su hadoop  -c "/usr/lib/zookeeper-current/bin/zkServer.sh stop"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh stop";
done


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
13天前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
78 6
|
3月前
|
存储 分布式计算 Serverless
|
1月前
|
SQL 分布式计算 Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化,内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验!
88 3
阿里云 EMR Serverless Spark 版正式开启商业化
|
15天前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
60 5
|
15天前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
28 4
|
15天前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
82 5
|
15天前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
38 4
|
15天前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
45 4
|
2月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
3月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例,介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
379 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务

热门文章

最新文章