开发者社区> 问答> 正文

伏羲团队启动 DAG 2.0 的项目的目的是什么?

伏羲团队启动 DAG 2.0 的项目的目的是什么?

展开
收起
曦情兮 2022-05-09 22:30:04 378 0
1 条回答
写回答
取消 提交回答
  • 随着 MaxCompute 以及 PAI 引擎的更新换代以及新功能演进,上层的分布式计算自身能力在不断的增强。对于 AM 组件在作业管理,DAG 执行等方面的动态性,灵活性等方面的需求也日益强烈。在这样的一个大的背景下,为了支撑计算平台下个 10 年的发展,伏羲团队启动了 DAG 2.0 的项目,将从代码和功能方面,完整替代 1.0 的 JobMaster 组件,实现完全的升级换代。在更好的支撑上层计算需求的同时,也同时对接伏羲团队在 shuffle 服务 (shuffle service) 上的升级,以及 fuxi master (Resource Manager) 的功能升级。与此同时,站在提供企业化服务的角度来看,一个好的分布式执行框架,除了支持阿里内部极致的大规模大吞吐作业之外,我们需要支持计算平台的向外走,支持云上各种规模和计算模式的需求。除了继续锤炼超大规模的系统扩展能力以外,我们需要降低大数据系统使用的门槛,通过系统本身的智能动态化能力,来提供自适应(各种数据规模以及处理模式)的大数据企业界服务,是 DAG 2.0 在设计架构中考虑的另一重要维度。

    2022-05-10 13:00:46
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
中移苏研存储产品规划和实践经验分享 立即下载
中移苏研-存储产品规划和实践经验分享 立即下载
一天发布10次-基于元数据的持续交付方法 立即下载