记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

简介: 记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

说明:在ssh,用root用户登录到header(master)机器上,手工执行以下命令进行业务调试。

常用命令:

1. env  (忘记是大写ENV,还是小写env,来查看环境变量)

2. cat /etc/hosts (查看EMR集群机器的hostname ip配置)

3. 在header机器上,切换到hadoop用户后,可以 ssh@emr-worker-1 直接登录到worker-1机器上,因为集群的机器,hadoop用户已经配置互相信任关系。


启动:

###start zk
su hadoop  -c "/usr/lib/zookeeper-current/bin/zkServer.sh start"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh start";
done

###start hdfs
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode"
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start secondarynamenode"
for i in `seq 1 2`;
do
 su hdfs  -c  "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start datanode";
done

###start yarn
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start resourcemanager"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh start nodemanager";
done

su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start proxyserver"

###start mapreduce historyserver
su hadoop  -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh start historyserver"


停止:
###stop spark
su hadoop  -c "/usr/lib/spark-current/sbin/stop-history-server.sh"

###stop mapreduce historyserver
su hadoop  -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh stop historyserver"

###stop yarn
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop proxyserver"

for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager";
done
su hadoop  -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop resourcemanager"

###stop hdfs
for i in `seq 1 2`;
do
 su hdfs  -c  "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop datanode";
done
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop secondarynamenode"
su hdfs  -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode"

###stop zk
su hadoop  -c "/usr/lib/zookeeper-current/bin/zkServer.sh stop"
for i in `seq 1 2`;
do
 su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh stop";
done


目录
相关文章
|
分布式计算 资源调度 大数据
【决战大数据之巅】:Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决!
【8月更文挑战第7天】随着大数据需求的增长,Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务,易于设置,适用于小规模或独立部署;而 YARN 作为 Hadoop 的资源管理系统,支持资源的统一管理和调度,更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
840 3
|
分布式计算 运维 Serverless
EMR Serverless Spark服务和EMR Serverless StarRocks服务的比较
**EMR Serverless Spark** 以其出色的稳定性、高效性能、减轻运维负担及成本优化著称,适合大规模数据处理。**EMR Serverless StarRocks** 则以高速查询、存算分离架构和灵活扩缩容见长,侧重企业级功能。两者在不同应用场景中有各自优势,选择应基于具体需求。更多详情,参考阿里云官方资源。
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列(48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
450 4
|
分布式计算 资源调度 Hadoop
Spark Standalone与YARN的区别?
本文详细解析了 Apache Spark 的两种常见部署模式:Standalone 和 YARN。Standalone 模式自带轻量级集群管理服务,适合小规模集群;YARN 模式与 Hadoop 生态系统集成,适合大规模生产环境。文章通过示例代码展示了如何在两种模式下运行 Spark 应用程序,并总结了两者的优缺点,帮助读者根据需求选择合适的部署模式。
705 3
|
分布式计算 资源调度 Hadoop
Spark Standalone与YARN的区别?
【10月更文挑战第5天】随着大数据处理需求的增长,Apache Spark 成为了广泛采用的大数据处理框架。本文详细解析了 Spark Standalone 与 YARN 两种常见部署模式的区别,并通过示例代码展示了如何在不同模式下运行 Spark 应用程序。Standalone 模式自带轻量级集群管理,适合小规模集群或独立部署;YARN 则作为外部资源管理器,能够与 Hadoop 生态系统中的其他应用共享资源,更适合大规模生产环境。文章对比了两者的资源管理、部署灵活性、扩展性和集成能力,帮助读者根据需求选择合适的部署模式。
343 1
|
消息中间件 分布式计算 Java
Linux环境下 java程序提交spark任务到Yarn报错
Linux环境下 java程序提交spark任务到Yarn报错
365 5
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
289 1
|
SQL 弹性计算 资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
存储 分布式计算 运维
EMR Serverless Spark服务最佳实践测评
EMR Serverless Spark服务最佳实践测评
356 2

热门文章

最新文章