Hadoop 2.x HDFS和YARN的启动方式

简介: 一.三种启动方式介绍    方式一:逐一启动(实际生产环境中的启动方式)     hadoop-daemon.sh start|stop  namenode|datanode| journalnode        yarn-daemon.

一.三种启动方式介绍

   方式一:逐一启动(实际生产环境中的启动方式)

    hadoop-daemon.sh start|stop  namenode|datanode| journalnode

       yarn-daemon.sh start |stop  resourcemanager|nodemanager

  方式二:分开启动

      start-dfs.sh

      start-yarn.sh

   方式三:一起启动

     start-all.sh

二.脚本解读

start-dfs.sh脚本:

(1)     通过命令bin/hdfs getconf –namenodes查看namenode在那些节点上

(2)     通过ssh方式登录到远程主机,启动hadoop-deamons.sh脚本

(3)     hadoop-deamon.sh脚本启动slaves.sh脚本

(4)     slaves.sh脚本启动hadoop-deamon.sh脚本,再逐一启动

start-all.sh脚本:

     说明:start-all.sh实际上是调用sbin/start-dfs.sh脚本和sbin/start-yarn.sh脚本

三.三种启动方式的关系

start-all.sh其实调用start-dfs.sh和start-yarn.sh

start-dfs.sh调用hadoop-deamon.sh
start-yarn.sh调用yarn-deamon.sh

如下图:


四.为什么要设置ssh协议

当执行start-dfs.sh脚本时,会调用slaves.sh脚本,通过ssh协议无密码登陆到其他节点去启动进程。


为了能自动启动远程节点的进程,需要进行免密码登录。


五.采用第二种启动方式

上面已经配置好了ssh公钥登录,接下来用第二种启动方式启动

Step1:先停止所以进程(如果已经启动)

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop nodemanager

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop resourcemanager

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop datanode

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop secondarynamenode

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop namenode

Step2:启动所以进程

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-dfs.sh

[hadoop@hadoop-yarn hadoop-2.2.0]$ sbin/start-yarn.sh

Step3:查看管理界面

YARN: http://hadoop-yarn.dragon.org:8088/

HDFS: http://hadoop-yarn.dragon.org:50070/

转:http://blog.csdn.net/cloudyhadoop/article/details/42341165

目录
相关文章
|
1月前
|
资源调度 分布式计算 Hadoop
YARN(Hadoop操作系统)的架构
本文详细解释了YARN(Hadoop操作系统)的架构,包括其主要组件如ResourceManager、NodeManager和ApplicationMaster的作用以及它们如何协同工作来管理Hadoop集群中的资源和调度作业。
37 3
YARN(Hadoop操作系统)的架构
|
1月前
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业,包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
29 1
使用YARN命令管理Hadoop作业
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler)
详细讲解了Hadoop YARN资源管理中的容量调度器(Yahoo!的Capacity Scheduler),包括队列和子队列的概念、Apache Hadoop的容量调度器默认队列、队列的命名规则、分层队列、容量保证、队列弹性、容量调度器的元素、集群如何分配资源、限制用户容量、限制应用程序数量、抢占申请、启用容量调度器以及队列状态管理等方面的内容。
41 3
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop YARN资源管理-公平调度器(Fackbook的Fair Scheduler)
详细介绍了Hadoop YARN资源管理中的公平调度器(Fair Scheduler),包括其概述、配置、队列结构、以及如何将作业提交到指定队列,展示了公平调度器如何通过分配文件(fair-scheduler.xml)来控制资源分配,并提供了配置示例和如何通过命令行提交作业到特定队列的方法。
53 0
Hadoop YARN资源管理-公平调度器(Fackbook的Fair Scheduler)
|
2月前
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程:从零开始打造令人惊叹的游戏视觉特效,让你的作品瞬间高大上,附带示例代码与详细步骤解析!
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具,通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果:彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后,利用节点库中的预定义节点,在编辑区连接节点定义着色器行为。
96 0
|
2月前
|
图形学 C# 开发者
Unity粒子系统全解析:从基础设置到高级编程技巧,教你轻松玩转绚丽多彩的视觉特效,打造震撼游戏画面的终极指南
【8月更文挑战第31天】粒子系统是Unity引擎的强大功能,可创建动态视觉效果,如火焰、爆炸等。本文介绍如何在Unity中使用粒子系统,并提供示例代码。首先创建粒子系统,然后调整Emission、Shape、Color over Lifetime等模块参数,实现所需效果。此外,还可通过C#脚本实现更复杂的粒子效果,增强游戏视觉冲击力和沉浸感。
69 0
|
2月前
|
存储 资源调度 分布式计算
什么是HDFS和YARN?
【8月更文挑战第31天】
37 0
|
2月前
|
存储 分布式计算 资源调度
Hadoop生态系统概览:从HDFS到Spark
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。它由多个组件构成,旨在提供高可靠性、高可扩展性和成本效益的数据处理解决方案。本文将介绍Hadoop的核心组件,包括HDFS、MapReduce、YARN,并探讨它们如何与现代大数据处理工具如Spark集成。
60 0
|
2月前
|
资源调度 分布式计算 监控
【揭秘Hadoop YARN背后的奥秘!】从零开始,带你深入了解YARN资源管理框架的核心架构与实战应用!
【8月更文挑战第24天】Hadoop YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的资源管理器,为Hadoop集群上的应用提供统一的资源管理和调度框架。YARN通过ResourceManager、NodeManager和ApplicationMaster三大核心组件实现高效集群资源利用及多框架支持。本文剖析YARN架构及组件工作原理,并通过示例代码展示如何运行简单的MapReduce任务,帮助读者深入了解YARN机制及其在大数据处理中的应用价值。
53 0

热门文章

最新文章

相关实验场景

更多
下一篇
无影云桌面