mapreduce1.0架构原理:
jobtraker 单点故障
只支持mapreduce
jobtraker性能瓶颈
资源利用率不高
2.yarn产生的背景
降低运维成本
统一资源管理,数据共享
两级调度,
resourceManager 做资源统一管理
处理客户端请求
监控applicationmaster 具体任务执行情况
监控nodemanager 节点状态
Nodemanager单节点资源管理和使用
资源管理任务管理
处理resourceManager的名利
处理applicationMaster的命令
ApplicationMaster单个任务有一个,负责应用程序的管理
数据切分
为应用程序申请资源,进一步分配给内部任务
任务的监控与容错
Container 对运行环境的抽象
任务运行环境
任务资源
- yarn的容错机制
资源流向resourceManager---------->applicationMaster----------------->task
yarn的资源隔离 cpu和内存两种方式
yarn的调度语义(接口),程序可以自己申请资源,自己上交资源:
hadoop和yarn上的计算框架:
yarn总体架构
mr的原理:
storm原理:
spark原理:
tez原理: