开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

如何做作业执行的动态调整?

已解决

如何做作业执行的动态调整?

展开
收起
游客lmkkns5ck6auu 2022-08-10 10:48:33 384 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    DAG/AM 作为分布式作业唯一的中心节点和调度管控节点,是唯一有能力收集并聚合相关数据信息,并基于这些数据特性来做作业执行的动态调整。这包括简单的物理执行图调整(比如动态的并发度调整),也包括复杂一点的调整比如对 shuffle 方式和数据编排方式重组。除此以外,数据的不同特点也会带来逻辑执行图调整的需求:对于逻辑图的动态调整,在分布式作业处理中是一个全新的方向,也是我们在 DAG 2.0 里面探索的新式解决方案。

    以上内容摘自《“伏羲”神算》电子书,点击https://developer.aliyun.com/topic/download?id=873

    2022-08-10 17:54:10
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
动态、高效,蚂蚁动态卡片的内核逻辑 立即下载
运用新技术解决有状态应用的冷热迁移挑战 迁移策略+新容器运行时 立即下载
快速变化背景下,组织如何保持过程的稳定性? 立即下载