开发者社区> 知与谁同> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Hadoop 2.x HDFS和YARN的启动方式

简介:
+关注继续查看

一.三种启动方式介绍

方式一:逐一启动(实际生产环境中的启动方式)


  1. hadoop-daemon.sh start|stop namenode|datanode| journalnode 
  2. yarn-daemon.sh start |stop resourcemanager|nodemanager 

方式二:分开启动


  1. start-dfs.sh 
  2. start-yarn.sh 

方式三:一起启动


  1. start-all.sh 

二.脚本解读

start-dfs.sh脚本:

(1) 通过命令bin/hdfs getconf –namenodes查看namenode在那些节点上

(2) 通过ssh方式登录到远程主机,启动hadoop-deamons.sh脚本

(3) hadoop-deamon.sh脚本启动slaves.sh脚本

(4) slaves.sh脚本启动hadoop-deamon.sh脚本,再逐一启动

start-all.sh脚本:

说明:start-all.sh实际上是调用sbin/start-dfs.sh脚本和sbin/start-yarn.sh脚本

三.三种启动方式的关系

start-all.sh其实调用start-dfs.sh和start-yarn.sh

start-dfs.sh调用hadoop-deamon.sh

start-yarn.sh调用yarn-deamon.sh

如下图:

四.为什么要设置ssh协议

当执行start-dfs.sh脚本时,会调用slaves.sh脚本,通过ssh协议无密码登陆到其他节点去启动进程。

为了能自动启动远程节点的进程,需要进行免密码登录。

五.采用第二种启动方式

上面已经配置好了ssh公钥登录,接下来用第二种启动方式启动

Step1:先停止所以进程(如果已经启动)


  1. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop nodemanager 
  2. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop resourcemanager  
  3. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop datanode 
  4. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop secondarynamenode 
  5. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop namenode 

Step2:启动所以进程


  1. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-dfs.sh 
  2. [hadoop@hadoop-yarn hadoop-2.2.0]$ sbin/start-yarn.sh 


本文作者:舒运

来源:51CTO

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
浅述Hadoop YARN
MRv1 存在的缺点 JobTracker容易存在单点故障 JobTracker负担重,既要负责资源管理,又要进行作业调度;当需处理太多任务时,会造成过多的资源消耗。
0 0
【Hadoop技术篇】YARN 作业执行流程
Yarn的作业流程是每个大数据领域的工作者都应该熟记于心的内容,今天我就来整理一下执行流程,记得点赞加收藏哦。 
0 0
hadoop之yarn的工作机制(14)
hadoop之yarn的工作机制(14)
0 0
Hadoop运行模式(三)、群起集群、配置workers、启动集群、启动HDFS、拼接、Web端查看HDFS的NameNode、Web端查看YARN的ResourceManager
Hadoop运行模式(三)、群起集群、配置workers、启动集群、启动HDFS、拼接、Web端查看HDFS的NameNode、Web端查看YARN的ResourceManager
0 0
Hadoop运行模式(二)、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
ssh文件夹下(~/.ssh)的文件功能解释、ssh连接时出现Host key verification failed的解决方法、免密登录原理、将公钥拷贝到要免密登录的目标机器上、NameNode和SecondaryNameNode不要安装在同一台服务器、ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上、Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值、.
0 0
【Hadoop】(七)Yarn 详解
【Hadoop】(七)Yarn 详解
0 0
【Hadoop】(三)资源管理器 YARN 和分布式计算框架 MapReduce
【Hadoop】(三)资源管理器 YARN 和分布式计算框架 MapReduce
0 0
【Hadoop】YARN伪分布式部署和MapReduce案例
前几篇文章 我们介绍了HDFS组件的配置及启动,Yarn是Hadoop集群的资源与作业调度平台,下面介绍下Yarn的伪分布部署及MapReduce简单使用。
0 0
Hadoop面试题(四)——YARN
简述hadoop1与hadoop2 的架构异同、为什么会产生 yarn,它解决了什么问题,有什么优势?、HDFS的数据压缩算法?(☆☆☆☆☆)、Hadoop的调度器总结(☆☆☆☆☆)、MapReduce 2.0 容错性(☆☆☆☆☆)、mapreduce推测执行算法及原理,以下有答案。
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Why is my Hadoop* job slow
立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
立即下载
云HBase内核
立即下载