伏羲团队启动 DAG 2.0 的项目的目的是什么？

随着 MaxCompute 以及 PAI 引擎的更新换代以及新功能演进，上层的分布式计算自身能力在不断的增强。对于 AM 组件在作业管理，DAG 执行等方面的动态性，灵活性等方面的需求也日益强烈。在这样的一个大的背景下，为了支撑计算平台下个 10 年的发展，伏羲团队启动了 DAG 2.0 的项目，将从代码和功能方面，完整替代 1.0 的 JobMaster 组件，实现完全的升级换代。在更好的支撑上层计算需求的同时，也同时对接伏羲团队在 shuffle 服务 (shuffle service) 上的升级，以及 fuxi master (Resource Manager) 的功能升级。与此同时，站在提供企业化服务的角度来看，一个好的分布式执行框架，除了支持阿里内部极致的大规模大吞吐作业之外，我们需要支持计算平台的向外走，支持云上各种规模和计算模式的需求。除了继续锤炼超大规模的系统扩展能力以外，我们需要降低大数据系统使用的门槛，通过系统本身的智能动态化能力，来提供自适应（各种数据规模以及处理模式）的大数据企业界服务，是 DAG 2.0 在设计架构中考虑的另一重要维度。