伯炎_个人页

2021年08月

• 08.13 17:59:05
  发表了文章 2021-08-13 17:59:05

  MaxCompute执行引擎核心技术DAG揭秘

  作为业界少有的EB级数据分布式平台，MaxCompute每天支撑上千万个分布式作业的运行。这些作业特点各异，既有包含数十万计算节点的超大型作业，也有中小规模的分布式作业。不同用户对于不同规模/特点的作业，在运行时间，资源使用效率，数据吞吐率等方面，也有着不同的期待。DAG作为MaxCompute执行引擎的核心技术之一，在提供了底层统一的动态执行框架的同时，实现了一个在离线混合的执行模式(Bubble Execution)，达到了平衡极致性能以及高效的资源利用率的目的。