AI 助理
备案控制台
开发者社区 大数据 文章 正文

HDFS和Yarn和MapReduce

2018-01-31 1205
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： image.pngnameNode是主节点，datanodes是子节点。子节点之间双重备份。例如小黄点。一共有七个。看上图右下角rep。HDFS存储方式是以块的形式存储的，128M最小单元。
image.png

nameNode是主节点，datanodes是子节点。子节点之间双重备份。例如小黄点。一共有七个。看上图右下角rep。

HDFS存储方式

是以块的形式存储的，128M最小单元。


image.png

NameNode存储

NameNode数据存储在
--内存中
--本地磁盘：
------1、fsimage:镜像文件（nameNode启动后生成的）
-------2、edites：编辑日志。

second NameNode

what：定期合并镜像文件和日志文件

YARN

YARN服务功能

MapReduce 离线计算框架

image.png
文章标签：
存储
资源调度
分布式计算
关键词：
Yarn mapreduce
hdfs Yarn
mapreduce yarn
文件存储HDFS版mapreduce
hdfs mapreduce
突突修
目录
相关文章
yuanzhengme
|
4月前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
yuanzhengme
254 2
尹正杰
|
8天前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架，包括准备数据、运行MapReduce任务、查看任务日志，并启动HistoryServer服务以便于日志查看。
尹正杰
22 0
wljslmz
|
11天前
|
存储 资源调度 分布式计算
什么是HDFS和YARN？
【8月更文挑战第31天】
wljslmz
14 0
vohelon
|
3月前
|
分布式计算 资源调度 数据处理
YARN支持哪些非基于MapReduce的计算模型？
【6月更文挑战第19天】YARN支持哪些非基于MapReduce的计算模型？
vohelon
47 11
郑小健
|
3月前
|
存储 分布式计算 Hadoop
Hadoop生态系统详解：HDFS与MapReduce编程
Apache Hadoop是大数据处理的关键，其核心包括HDFS（分布式文件系统）和MapReduce（并行计算框架）。HDFS为大数据存储提供高容错性和高吞吐量，采用主从结构，通过数据复制保证可靠性。MapReduce将任务分解为Map和Reduce阶段，适合大规模数据集的处理。通过代码示例展示了如何使用MapReduce实现Word Count功能。HDFS和MapReduce的结合，加上YARN的资源管理，构成处理和分析大数据的强大力量。了解和掌握这些基础对于有效管理大数据至关重要。【6月更文挑战第12天】
郑小健
102 0
yuanzhengme
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
113 9
Maynor
|
4月前
|
存储 SQL 分布式计算
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
Maynor
445 0
诸葛子房
|
4月前
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
诸葛子房
65 1
NorthS
|
3月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头，且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明，但假设读者已具备基础操作技能。此外，还提到一个扩展练习，通过分区功能将具有相同尾数的数字分组到不同文件。
NorthS
42 1
听风de歌
|
3月前
|
数据采集 SQL 分布式计算
Hadoop性能优化MapReduce任务中的小文件问题
【6月更文挑战第4天】
听风de歌
62 3

热门文章

最新文章

  • 1
    Hadoop: MapReduce2的几个基本示例
  • 2
    MapReduce中的分布式缓存使用
  • 3
    MapReduce入门（一篇就够了）（下）
  • 4
    HBase MapReduce_4 | 学习笔记
  • 5
    Hadoop学习：深入解析MapReduce的大数据魔力（三）
  • 6
    Hadoop学习笔记(三)之MapReduce
  • 7
    Idea里面老版本MapReduce设置FileInputFormat参数格式变化
  • 8
    MapReduce设置输出分隔符
  • 9
    MapReduce的类型与格式
  • 10
    MapReduce编程实例之倒排索引 1
  • 1
    [AIGC 大数据基础]浅谈hdfs
    61
  • 2
    [AIGC 大数据基础] 浅谈hdfs
    45
  • 3
    Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
    61
  • 4
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
    85
  • 5
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    113
  • 6
    面经：HDFS分布式文件系统原理与故障排查
    168
  • 7
    Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    77
  • 8
    Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
    254
  • 9
    Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）
    193
  • 10
    Hadoop【问题记录 01】【hadoop-3.1.3 单机版】【Attempting to operate on hdfs namenode as root】
    53

    • 相关课程

    更多
  • Hadoop 分布式文件系统 HDFS
  • Hadoop 分布式计算框架 MapReduce
  • Hadoop 分布式资源管理框架 YARN
  • 快速掌握阿里云 E-MapReduce
  • Hadoop快速入门
  • E-MapReduce入门

    • 相关电子书

    更多
  • 深度学习+大数据 TensorFlow on Yarn
  • Docker on Yarn 微服务实践
  • 深度学习+大数据-TensorFlow on Yarn

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    DDNS