独家下载 | “伏羲”神算!阿里巴巴经济体核心调度系统揭秘

简介: 阿里巴巴 9 位技术专家为你深度解析阿里巴巴经济体核心调度系统“伏羲”。伏羲(Fuxi)作为十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),十年来,在技术能力上持续演进。本书从面向大数据、云计算的调度挑战出发,介绍伏羲调度系统及各子领域的关键技术进展,并以双11为典型场景进行最佳实践的介绍,为你呈现大数据分布式调度技术的深水区玩法。— 《“伏羲”神算》现在可以免费下载阅读啦,快来先睹为快吧。

点击免费下载
《“伏羲”神算》>>

你也可以复制以下链接到浏览器免费下载:
https://developer.aliyun.com/topic/download?id=873

image.png

伏羲(Fuxi)的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。随阿里经济体和阿里云丰富的业务需求(尤其是双十一)和业务磨练,伏羲的内涵不断扩大,从单一的资源调度器(对标开源系统的 YARN)扩展成大数据的核心调度服务,覆盖数据调度(Data Placement)、资源调度(Resouce Management)、计算调度(Application Manager)、和本地微(自治)调度(即正文中的单机调度)等多个领域,并在每一个细分领域致力于打造超越业界主流的差异化能力。

十年来,伏羲技术能力持续突破,2013 年实现 5K,2015 年Sortbenchmark 世界冠军,2017 年小规模离在/在离线混部能力,2019年 Yugong 发布并且论文被 VLDB 接受等。本书试从面向大数据、云计算的调度挑战出发,介绍各个子领域的关键进展,带你全面了解分布式调度技术及阿里巴巴经济体的最佳实践。

image.png
image.png

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
机器学习/深度学习 算法 决策智能
智能解决装箱问题:使用优化算法实现高效包装
装箱问题(Bin Packing Problem)是组合优化领域中的一个经典问题,主要涉及如何将一系列对象高效地装入有限数量的容器(或“箱”)中,同时满足特定的约束条件。这个问题的目标是最小化所需使用的箱子数量或者最大化箱子的装载效率,以减少空间或资源的浪费。
|
机器学习/深度学习 资源调度 Kubernetes
进击的Kubernetes调度系统(三):支持批任务的Binpack Scheduling
阿里云容器服务团队结合多年Kubernetes产品与客户支持经验,对Kube-scheduler进行了大量优化和扩展,逐步使其在不同场景下依然能稳定、高效地调度各种类型的复杂工作负载。 《进击的Kubernetes调度系统》系列文章将把我们的经验、技术思考和实现细节全面地展现给Kubernetes用户和开发者,期望帮助大家更好地了解Kubernetes调度系统的强大能力和未来发展方向。
5661 124
|
资源调度 分布式计算 安全
伏羲—阿里云分布式调度系统
在12月12日的云栖社区在线培训上,“飞天”分布式系统核心开发人员陶阳宇分享了《伏羲-阿里云分布式调度系统》。他主要从伏羲系统架构、任务调度、资源调度、容错机制、规模挑战、安全与性能隔离方面介绍了伏羲分布式系统架构和设计理念。
24397 0
|
资源调度 分布式计算 Kubernetes
给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度
飞天伏羲作为有着十多年历史的调度团队,在服务好 MaxCompute 大数据平台的过程中,一直在不断通过自我革新赶超业界先进水平,我们经历了 Fuxi 2.0 的这样的大规模升级,今天通过 K8s 统一调度项目又再次实现了系统架构的蜕变,将大数据平台强大的调度能力赋予 K8s 系统,同时去拥抱 K8s 周边丰富的生态。除了集团弹内集群,将来我们在公共云、专有云等多个场景,也会以 K8s 统一调度的方式进行输出,以更好地服务云上的用户,敬请期待!
3280 123
给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度
|
资源调度 分布式计算 Kubernetes
技术抉择:阿里云13年后重构全部核心调度系统
在阿里云十三年的发展历史上,重新设计调度系统算得上是一个重要的技术抉择。
2529 119
技术抉择:阿里云13年后重构全部核心调度系统
|
Kubernetes Cloud Native 容器
开放下载!《深入浅出Kubernetes》
一次搞懂6个核心原理吃透基础理论,一次学会6个典型问题的华丽操作
开放下载!《深入浅出Kubernetes》
|
消息中间件 运维 Java
开放下载!《Rocket MQ 使用排查指南》精解100+常见问题
6个要点掌握Rocket MQ原理,5步教程快速入门Rocket MQ ,云运维工程师不可错过的匠心之作
38757 1
开放下载!《Rocket MQ 使用排查指南》精解100+常见问题
|
人工智能 前端开发 IDE
重磅下载!《2020前端工程师必读手册》,阿里巴巴前端委员会推荐!
阿里巴巴前端委员会推荐!覆盖5大热点前端技术方向10+核心实战的前端手册--《2020前端工程师必读手册》已经正式上线了,大家可以免费下载了,解锁前端新方式,挖掘前端新思路,尽在此刻,赶紧来先睹为快!
161569 0
重磅下载!《2020前端工程师必读手册》,阿里巴巴前端委员会推荐!
|
大数据 分布式计算 MaxCompute
独家下载 |《大数据工程师必读手册》揭秘阿里如何玩转大数据
阿里巴巴如何玩转大数据?十位阿里巴巴大数据专家深度分析 ,飞天大数据平台八款产品最新玩法,2019不容错过的大数据手册——《大数据工程师必读手册》现在可以免费下载阅读啦,赶紧先睹为快吧。
138934 0
独家下载 |《大数据工程师必读手册》揭秘阿里如何玩转大数据
|
SQL Java 程序员
独家下载!《Java开发手册》灵魂13问,深度剖析一线大厂开发思维
《〈Java开发手册(泰山版)〉灵魂13问》独家首发!全网千万阅读量技术博主深度剖析Java规约背后的原理,从“问题重现”到“原理分析”再到“问题解决”,下载《Java开发手册》必备的伴读书目!
249838 2
独家下载!《Java开发手册》灵魂13问,深度剖析一线大厂开发思维