开始写博客啦啦

简介:

mapreduce1.0架构原理:

jobtraker 单点故障
只支持mapreduce
jobtraker性能瓶颈
资源利用率不高

2.yarn产生的背景
降低运维成本
统一资源管理,数据共享

两级调度,
resourceManager 做资源统一管理
处理客户端请求
监控applicationmaster 具体任务执行情况
监控nodemanager 节点状态

Nodemanager单节点资源管理和使用
资源管理任务管理
处理resourceManager的名利
处理applicationMaster的命令

ApplicationMaster单个任务有一个,负责应用程序的管理
数据切分
为应用程序申请资源,进一步分配给内部任务
任务的监控与容错

Container 对运行环境的抽象
任务运行环境
任务资源

  1. yarn的容错机制

资源流向resourceManager---------->applicationMaster----------------->task

yarn的资源隔离 cpu和内存两种方式

yarn的调度语义(接口),程序可以自己申请资源,自己上交资源:

hadoop和yarn上的计算框架:

yarn总体架构

mr的原理:

storm原理:

spark原理:

tez原理:

相关文章
|
物联网 大数据 Linux
基于上博客
大数据 云端 体验
|
数据采集 弹性计算 前端开发
我的博客
关于我的个人博客,以及ECS服务器的使用,从最开始的本地运行项目,到使用阿里云ECS云服务器部署项目,网站上线后由于访问速度过慢,有通过阿里云客服的介绍使用了DCDN全站加速来提高网站访问速度,使网站达到秒开。非常感谢阿里云的产品,还有负责的客服,谢谢!
|
消息中间件 Java 关系型数据库
博客汇总
JVM java基础 架构设计 网络相关 中间件 区块链
3126 0
|
Web App开发 C# 数据库
|
Windows 监控 C#