开始写博客啦啦

简介:

mapreduce1.0架构原理:

jobtraker 单点故障
只支持mapreduce
jobtraker性能瓶颈
资源利用率不高

2.yarn产生的背景
降低运维成本
统一资源管理,数据共享

两级调度,
resourceManager 做资源统一管理
处理客户端请求
监控applicationmaster 具体任务执行情况
监控nodemanager 节点状态

Nodemanager单节点资源管理和使用
资源管理任务管理
处理resourceManager的名利
处理applicationMaster的命令

ApplicationMaster单个任务有一个,负责应用程序的管理
数据切分
为应用程序申请资源,进一步分配给内部任务
任务的监控与容错

Container 对运行环境的抽象
任务运行环境
任务资源

  1. yarn的容错机制

资源流向resourceManager---------->applicationMaster----------------->task

yarn的资源隔离 cpu和内存两种方式

yarn的调度语义(接口),程序可以自己申请资源,自己上交资源:

hadoop和yarn上的计算框架:

yarn总体架构

mr的原理:

storm原理:

spark原理:

tez原理:

相关文章
|
程序员 C语言
人生的第一次博客
人生的第一次博客
|
数据可视化 Java Linux
易秋博客
进来一起学习吧!
易秋博客
|
NoSQL Redis
最近要看的一些博客
Redis:https://www.cnblogs.com/rjzheng/p/9096228.htmlSpring IOC:https://mp.weixin.qq.com/s?__biz=MzI4Njg5MDA5NA==&mid=2247484247&idx=1&sn=e228e29e3445.
1041 0
博客
我的博客即将入驻“云栖社区”,诚邀技术同仁一同入驻。
|
存储 程序员
写博客的个人建议
最近新公司的领导们很注重大家写博客。三番五次的再群里各种劝大家写博客,各种鸡汤各种喂,身为一个刚刚入职不久的渣渣程序猿。果断干了各种鸡汤,还要给大家再来一碗。 写博客利器 下面列的是我写博客经常用到各种利器,仅供参考 使用markdown 你如果经常上github这个神奇的网站。
1339 0
来自Geeksongs的博客
大家好哦!我是Geeksongs!
793 0