记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
简介: 记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

说明:在ssh,用root用户登录到header(master)机器上,手工执行以下命令进行业务调试。

常用命令:

1. env  (忘记是大写ENV,还是小写env,来查看环境变量)

2. cat /etc/hosts (查看EMR集群机器的hostname ip配置)

3. 在header机器上,切换到hadoop用户后,可以 ssh@emr-worker-1 直接登录到worker-1机器上,因为集群的机器,hadoop用户已经配置互相信任关系。


启动:

###start zk
su hadoop  -c "/usr/lib/zookeeper-current/bin/zkServer.sh start"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh start";
done

###start hdfs
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode"
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start secondarynamenode"
for i in `seq 1 2`;
do
 su hdfs  -c  "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start datanode";
done

###start yarn
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start resourcemanager"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh start nodemanager";
done

su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start proxyserver"

###start mapreduce historyserver
su hadoop  -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh start historyserver"
AI 代码解读


停止:
###stop spark
su hadoop  -c "/usr/lib/spark-current/sbin/stop-history-server.sh"

###stop mapreduce historyserver
su hadoop  -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh stop historyserver"

###stop yarn
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop proxyserver"

for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager";
done
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop resourcemanager"

###stop hdfs
for i in `seq 1 2`;
do
 su hdfs  -c  "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop datanode";
done
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop secondarynamenode"
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode"

###stop zk
su hadoop  -c "/usr/lib/zookeeper-current/bin/zkServer.sh stop"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh stop";
done
AI 代码解读


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
打赏
0
0
0
0
56
分享
相关文章
【决战大数据之巅】:Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决!
【8月更文挑战第7天】随着大数据需求的增长,Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务,易于设置,适用于小规模或独立部署;而 YARN 作为 Hadoop 的资源管理系统,支持资源的统一管理和调度,更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
324 3
Spark Standalone与YARN的区别?
本文详细解析了 Apache Spark 的两种常见部署模式:Standalone 和 YARN。Standalone 模式自带轻量级集群管理服务,适合小规模集群;YARN 模式与 Hadoop 生态系统集成,适合大规模生产环境。文章通过示例代码展示了如何在两种模式下运行 Spark 应用程序,并总结了两者的优缺点,帮助读者根据需求选择合适的部署模式。
148 3
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
119 5
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
52 4
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
231 5
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
224 4
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
149 4
Spark Standalone与YARN的区别?
【10月更文挑战第5天】随着大数据处理需求的增长,Apache Spark 成为了广泛采用的大数据处理框架。本文详细解析了 Spark Standalone 与 YARN 两种常见部署模式的区别,并通过示例代码展示了如何在不同模式下运行 Spark 应用程序。Standalone 模式自带轻量级集群管理,适合小规模集群或独立部署;YARN 则作为外部资源管理器,能够与 Hadoop 生态系统中的其他应用共享资源,更适合大规模生产环境。文章对比了两者的资源管理、部署灵活性、扩展性和集成能力,帮助读者根据需求选择合适的部署模式。
64 1
Linux环境下 java程序提交spark任务到Yarn报错
Linux环境下 java程序提交spark任务到Yarn报错
65 5
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等