AI 助理
备案控制台
开发者社区 大数据 文章 正文

HDFS和Yarn和MapReduce

2018-01-31 1226
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： image.pngnameNode是主节点，datanodes是子节点。子节点之间双重备份。例如小黄点。一共有七个。看上图右下角rep。HDFS存储方式是以块的形式存储的，128M最小单元。
image.png

nameNode是主节点，datanodes是子节点。子节点之间双重备份。例如小黄点。一共有七个。看上图右下角rep。

HDFS存储方式

是以块的形式存储的，128M最小单元。


image.png

NameNode存储

NameNode数据存储在
--内存中
--本地磁盘：
------1、fsimage:镜像文件（nameNode启动后生成的）
-------2、edites：编辑日志。

second NameNode

what：定期合并镜像文件和日志文件

YARN

YARN服务功能

MapReduce 离线计算框架

image.png
文章标签：
存储
资源调度
分布式计算
关键词：
文件存储HDFS版mapreduce
hdfs mapreduce
Yarn hdfs
hdfs Yarn
Yarn mapreduce
突突修
目录
相关文章
武子康
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
武子康
159 3
武子康
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
武子康
89 1
武子康
|
4月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
169 0
武子康
|
4月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
73 0
武子康
|
4月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
96 0
诸葛子房
|
9月前
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
诸葛子房
98 1
NorthS
|
8月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头，且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明，但假设读者已具备基础操作技能。此外，还提到一个扩展练习，通过分区功能将具有相同尾数的数字分组到不同文件。
NorthS
82 1
听风de歌
|
8月前
|
数据采集 SQL 分布式计算
Hadoop性能优化MapReduce任务中的小文件问题
【6月更文挑战第4天】
听风de歌
156 3
kng32f3vbngrm
|
9月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3，针对三台4核4G服务器的MapReduce调优参数包括：`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle，`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
kng32f3vbngrm
103 1
听风de歌
|
9月前
|
分布式计算 并行计算 搜索推荐
Hadoop MapReduce计算框架
【5月更文挑战第10天】HadoopMapReduce计算框架
听风de歌
73 3

热门文章

最新文章

  • 1
    Spark 与 MapReduce 的 Shuffle 的区别？
  • 2
    YARN中的CPU资源隔离-CGroups
  • 3
    Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
  • 4
    Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
  • 5
    [npm]使用(c)npm安装yarn
  • 6
    yarn的安装和使用(全网最详细)
  • 7
    换npm yarn的源让install超时去死吧
  • 8
    Yarn REST API 使用指南
  • 9
    三巨头对决：深入了解pnpm、yarn与npm
  • 10
    YARN的Memory和CPU调优配置详解
  • 1
    阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
    524
  • 2
    阿里云E-MapReduce集群-开源Ldap密码不安全问题解决方案
    566
  • 3
    阿里云E-MapReduce集群不同计算引擎sleep task使用笔记
    532
  • 4
    阿里云E-MapReduce节点优雅下线-基于Yarn Node Labels特性
    727
  • 5
    伪分布式安装部署（运行MapReduce程序）
    214
  • 6
    Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（二）
    156
  • 7
    Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（一）
    234
  • 8
    Hadoop基础学习---6、MapReduce框架原理（二）
    152
  • 9
    Hadoop基础学习---6、MapReduce框架原理（一）
    163
  • 10
    Hadoop基础学习---5、MapReduce概述和WordCount实操（本地运行和集群运行）、Hadoop序列化
    234

    • 相关课程

    更多
  • Hadoop 分布式文件系统 HDFS
  • Hadoop 分布式计算框架 MapReduce
  • Hadoop 分布式资源管理框架 YARN
  • 快速掌握阿里云 E-MapReduce
  • Hadoop快速入门

    • 相关电子书

    更多
  • 深度学习+大数据 TensorFlow on Yarn
  • Docker on Yarn 微服务实践
  • 深度学习+大数据-TensorFlow on Yarn

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    阿里云oss简介和如何对接使用