开始写博客啦啦

简介:

mapreduce1.0架构原理:

jobtraker 单点故障
只支持mapreduce
jobtraker性能瓶颈
资源利用率不高

2.yarn产生的背景
降低运维成本
统一资源管理,数据共享

两级调度,
resourceManager 做资源统一管理
处理客户端请求
监控applicationmaster 具体任务执行情况
监控nodemanager 节点状态

Nodemanager单节点资源管理和使用
资源管理任务管理
处理resourceManager的名利
处理applicationMaster的命令

ApplicationMaster单个任务有一个,负责应用程序的管理
数据切分
为应用程序申请资源,进一步分配给内部任务
任务的监控与容错

Container 对运行环境的抽象
任务运行环境
任务资源

  1. yarn的容错机制

资源流向resourceManager---------->applicationMaster----------------->task

yarn的资源隔离 cpu和内存两种方式

yarn的调度语义(接口),程序可以自己申请资源,自己上交资源:

hadoop和yarn上的计算框架:

yarn总体架构

mr的原理:

storm原理:

spark原理:

tez原理:

相关文章
|
数据采集 弹性计算 前端开发
我的博客
关于我的个人博客,以及ECS服务器的使用,从最开始的本地运行项目,到使用阿里云ECS云服务器部署项目,网站上线后由于访问速度过慢,有通过阿里云客服的介绍使用了DCDN全站加速来提高网站访问速度,使网站达到秒开。非常感谢阿里云的产品,还有负责的客服,谢谢!
博客
我的博客即将入驻“云栖社区”,诚邀技术同仁一同入驻。
|
存储 程序员
写博客的个人建议
最近新公司的领导们很注重大家写博客。三番五次的再群里各种劝大家写博客,各种鸡汤各种喂,身为一个刚刚入职不久的渣渣程序猿。果断干了各种鸡汤,还要给大家再来一碗。 写博客利器 下面列的是我写博客经常用到各种利器,仅供参考 使用markdown 你如果经常上github这个神奇的网站。
1322 0
来自Geeksongs的博客
大家好哦!我是Geeksongs!
782 0
|
JavaScript Java 程序员
写博客的意义是什么,我为什么捡起继续写博客
入坑 第一次接触博客还是上高中的时候,那时候第一次上网,那时候第一次发表文章是在百度空间。然后qq空间。学生时代对文学浓厚的兴趣导致内容多是像作文一样的叙事,散文。会写下又不小心领悟了什么哲理,感觉又距离世界近了一步啥的。
1445 0
|
Web App开发 C# 数据库