【百科】走近飞天:伏羲——资源调度服务

简介: 飞天(Apsara)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力。飞天的主要组成部分包括哪些,架构是怎样的? 云栖系列文章为你一一解读。

“飞天”是阿里巴巴的云计算平台,其中的分布式调度系统被命名为“伏羲”(代码名称Fuxi),名字来自我国古代神话人物。伏羲主要负责管理集群的机器资源和调度并发的计算任务,目前支持离线数据处理(DAG Job)和在线服务(Service),为上层分布式应用如MaxCompute / OSS / OTS提供稳定、高效、安全的资源管理和任务调度服务,为阿里巴巴集团打造数据分享第一平台的目标提供了强大的计算引擎。

 

伏羲系统设计上采用M / S架构(如图1所示),系统有一个被称为“伏羲Master”的集群控制中心,其余每台机器上会运行一个叫做“伏羲Agent”的守护进程,守护进程除了管理节点上运行的任务外,还负责收集该节点上的资源使用情况,并将之汇报给控制中心。控制中心与伏羲Agent之间使用心跳机制,以监测节点健康状态。当用户向伏羲Master提交一个任务时,伏羲Master会调度出一个可用节点在其上启动任务的主控进程AppMaster,主控进程随后会向伏羲Master提出资源请求,得到伏羲Master分配的资源后,AppMaster通知相应节点上的伏羲Agent开始运行任务Worker。伏羲是一个支持多任务并发的调度系统,控制中心伏羲Master负责在多个任务之间仲裁,支持优先级、资源Quota配额和抢占。

 

TB1kw7JGXXXXXb_XXXXDQ371pXX-1286-617.jpg

 

使用伏羲,用户可以运行常见的MapReduce任务,还可以托管在线服务,满足不同应用场景的需求。多用户可以共享集群,伏羲支持配置分组的资源配额,限定每个用户组可以使用的计算资源。紧急任务如重要数据报表可以提高任务优先级来优先使用计算资源。

目录
相关文章
|
9月前
|
弹性计算 人工智能 算法
阿里云徐成:CIPU最新秘密武器-弹性RDMA的技术解析与实践|阿里云弹性计算技术公开课直播预告
弹性RDMA(Elastic Remote Direct Memory Access,简称eRDMA),是阿里云自研的云上弹性RDMA网络,底层链路复用VPC网络,采用全栈自研的拥塞控制CC(Congestion Control )算法,兼具传统RDMA网络高吞吐、低延迟特性,同时支持秒级的大规模RDMA组网。基于弹性RDMA,开发者可以将HPC应用软件部署在云上,获取成本更低、弹性更好的高性能应用集群;也可以将VPC网络替换成弹性RDMA网络,加速应用性能。
|
10月前
阿里云最新产品手册——阿里云核心产品——飞天洛神3.0——洛神——洛神平台总体架构
阿里云最新产品手册——阿里云核心产品——飞天洛神3.0——洛神——洛神平台总体架构自制脑图
264 1
|
10月前
|
块存储
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程自制脑图
126 1
|
弹性计算
《公共云弹性计算最佳实践-误区一 云服务器金刚不坏?》电子版地址
公共云弹性计算最佳实践-误区一 云服务器金刚不坏?
513 0
《公共云弹性计算最佳实践-误区一 云服务器金刚不坏?》电子版地址
阿里云飞天网络技术架构、洛神系统、洛神:阿里云飞天操作内核核心组件
阿里云飞天网络技术架构、洛神系统、洛神:阿里云飞天操作内核核心组件自制脑图
385 0
阿里云飞天网络技术架构、洛神系统、洛神:阿里云飞天操作内核核心组件
|
弹性计算 运维 开发者
企业运维训练营之弹性计算原理与实践训练营玩法
阿里云全球技术服务部&开发者学堂联名推荐,共同探讨弹性计算技术,带您进入上云第一站。
企业运维训练营之弹性计算原理与实践训练营玩法
|
弹性计算 运维 安全
企业运维训练营之弹性计算原理与实践,弹性计算运维和实践工程师的必修之路
阿里云全球技术服务部&开发者学堂联名推荐,共同探讨弹性计算技术,带您进入上云第一站。
企业运维训练营之弹性计算原理与实践,弹性计算运维和实践工程师的必修之路
|
机器学习/深度学习 弹性计算 人工智能
阿里云弹性计算首席架构师分享云上应用架构演进三大方向
从基础设施和应用层出发,依托云计算构建更可靠、更敏捷和更智能的IT架构,将为企业释放巨大技术红利。
阿里云弹性计算首席架构师分享云上应用架构演进三大方向
|
弹性计算 运维 监控
带你读《弹性计算—无处不在的算力》第二章:弹性计算产品家族 2.4:运维辅助类产品加持
《弹性计算—无处不在的算力》第二章:弹性计算产品家族 2.4:运维辅助类产品加持
308 0
带你读《弹性计算—无处不在的算力》第二章:弹性计算产品家族 2.4:运维辅助类产品加持
|
存储 弹性计算 运维
带你读《弹性计算—无处不在的算力》第一章:开篇 1.4:弹性计算的技术架构
《弹性计算—无处不在的算力》第一章:开篇 1.4:弹性计算的技术架构
1151 0
带你读《弹性计算—无处不在的算力》第一章:开篇 1.4:弹性计算的技术架构