开发者社区> 问答> 正文

伏羲 DAG 2.0 还有哪些已经实现或者正在开发者的功能?

伏羲 DAG 2.0 还有哪些已经实现或者正在开发者的功能?

展开
收起
曦情兮 2022-05-09 22:48:14 382 0
1 条回答
写回答
取消 提交回答
  • 准实时作业体系架构的整体升级: 资源管理与多作业管理的解耦,支持准实时作业场景上的动态图功能。 常驻的单 container 多 slot 执行的 cache-aware 查询加速服务 (MaxCompute 短查询) 基于状态机的作业节点管理以及失败下的智能重跑机制。 动态可定义的 shuffle 方式:通过 recursive shuffle 等方式动态解决线上大规模作业中的 in-cast 问题。 基于 adaptive 的中间数据动态切分与聚合,解决实际分布式作业中各种数据倾斜问题 支持 PAI TF GPU 作业的多执行计划选项。 通过 DAG 执行过程中与优化器的交互,实现渐进式的交互式动态优化。 支持 Imperative 语言特性,通过 DAG 的动态自增长等能力,对接 IF/ELSE/LOOP 等语义。

    2022-05-10 12:58:30
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
“伏羲”神算 立即下载
基于streaming构建统一的数据处理引擎的挑战与实践 立即下载
基于Kubernates的流处理平台实践 ——Flink为例 立即下载