开发者社区> sh_jepson> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Hadoop 2.x HDFS和YARN的启动方式

简介: 一.三种启动方式介绍    方式一:逐一启动(实际生产环境中的启动方式)     hadoop-daemon.sh start|stop  namenode|datanode| journalnode        yarn-daemon.
+关注继续查看

一.三种启动方式介绍

   方式一:逐一启动(实际生产环境中的启动方式)

    hadoop-daemon.sh start|stop  namenode|datanode| journalnode

       yarn-daemon.sh start |stop  resourcemanager|nodemanager

  方式二:分开启动

      start-dfs.sh

      start-yarn.sh

   方式三:一起启动

     start-all.sh

二.脚本解读

start-dfs.sh脚本:

(1)     通过命令bin/hdfs getconf –namenodes查看namenode在那些节点上

(2)     通过ssh方式登录到远程主机,启动hadoop-deamons.sh脚本

(3)     hadoop-deamon.sh脚本启动slaves.sh脚本

(4)     slaves.sh脚本启动hadoop-deamon.sh脚本,再逐一启动

start-all.sh脚本:

     说明:start-all.sh实际上是调用sbin/start-dfs.sh脚本和sbin/start-yarn.sh脚本

三.三种启动方式的关系

start-all.sh其实调用start-dfs.sh和start-yarn.sh

start-dfs.sh调用hadoop-deamon.sh
start-yarn.sh调用yarn-deamon.sh

如下图:


四.为什么要设置ssh协议

当执行start-dfs.sh脚本时,会调用slaves.sh脚本,通过ssh协议无密码登陆到其他节点去启动进程。


为了能自动启动远程节点的进程,需要进行免密码登录。


五.采用第二种启动方式

上面已经配置好了ssh公钥登录,接下来用第二种启动方式启动

Step1:先停止所以进程(如果已经启动)

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop nodemanager

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop resourcemanager

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop datanode

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop secondarynamenode

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop namenode

Step2:启动所以进程

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-dfs.sh

[hadoop@hadoop-yarn hadoop-2.2.0]$ sbin/start-yarn.sh

Step3:查看管理界面

YARN: http://hadoop-yarn.dragon.org:8088/

HDFS: http://hadoop-yarn.dragon.org:50070/

转:http://blog.csdn.net/cloudyhadoop/article/details/42341165

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《Hadoop实战第2版》——1.4节Hadoop与分布式开发
本节书摘来自华章社区《Hadoop实战第2版》一书中的第1章,第1.4节Hadoop与分布式开发,作者:陆嘉恒,更多章节内容可以访问云栖社区“华章社区”公众号查看
1145 0
Hadoop2.6.x安装hive1.2.1
hive安装配置
2555 0
r和hadoop结合
http://www.csdn.net/article/2011-09-28/305092 http://www.
627 0
hadoop开发者第三期
全文下载: hadoop开发者第三期.pdf    目录 Hadoop中的数据库访问 MapReduce中多文件输出的使用 ZooKeeper使用与分析 浅析一种分类数据模型 Sector框架分析 RunonHadoop ...
578 0
+关注
sh_jepson
遇之问题,与之斗争,穷尽方法,提高自己,重新再来。 https://github.com/Hackeruncle
178
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载