开始写博客啦啦

简介:

mapreduce1.0架构原理:

jobtraker 单点故障
只支持mapreduce
jobtraker性能瓶颈
资源利用率不高

2.yarn产生的背景
降低运维成本
统一资源管理,数据共享

两级调度,
resourceManager 做资源统一管理
处理客户端请求
监控applicationmaster 具体任务执行情况
监控nodemanager 节点状态

Nodemanager单节点资源管理和使用
资源管理任务管理
处理resourceManager的名利
处理applicationMaster的命令

ApplicationMaster单个任务有一个,负责应用程序的管理
数据切分
为应用程序申请资源,进一步分配给内部任务
任务的监控与容错

Container 对运行环境的抽象
任务运行环境
任务资源

  1. yarn的容错机制

资源流向resourceManager---------->applicationMaster----------------->task

yarn的资源隔离 cpu和内存两种方式

yarn的调度语义(接口),程序可以自己申请资源,自己上交资源:

hadoop和yarn上的计算框架:

yarn总体架构

mr的原理:

storm原理:

spark原理:

tez原理:

相关文章
|
数据可视化 Java Linux
易秋博客
进来一起学习吧!
易秋博客
|
消息中间件 Java 关系型数据库
博客汇总
JVM java基础 架构设计 网络相关 中间件 区块链
3127 0
来自Geeksongs的博客
大家好哦!我是Geeksongs!
786 0
|
Web App开发 C# 数据库
新的博客
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/feilengcui008/article/details/78172009 博客...
1049 0
大神博客
1、鸿洋     http://blog.csdn.net/lmj623565791/article/   2、stormzhang     http://stormzhang.com/   3、美团技术团队       http://tech.
1095 0
|
数据中心 机器人 架构师