开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

统一的 AM/DAG 执行框架由什么组成?

已解决

统一的 AM/DAG 执行框架由什么组成?

展开
收起
游客lmkkns5ck6auu 2022-08-10 11:07:41 375 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    DAG 2.0 抽象分层的点,边,图架构上,也使其能通过对点和边上不同物理特性的描述,对接不同的计算模式。业界各种分布式数据处理引擎,包括 SPARK, FLINK, HIVE, SCOPE, TENSORFLOW 等等,其分布式执行框架的本源都可以归结于 Dryad 提出的 DAG 模型。我们认为对于图的抽象分层描述,将允许在同一个 DAG 系统中,对于离线/实时/流/渐进计算等多种模型都可以有一个好的描述。在 DAG 2.0 初步落地的过程中,首要目标是在同一套代码和架构系统上,统一当前伏羲平台上运行的几种计算模式,包括 MaxCompute 的离线作业,准实时作业,以及 PAI 平台上的 Tensorflow 作业和其他的非 SQL 类作业。对更多新颖计算模式的探索,也会有计划的分步骤进行。

    以上内容摘自《“伏羲”神算》电子书,点击https://developer.aliyun.com/topic/download?id=873

    2022-08-10 18:11:37
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
为并行图数据处理提供高层抽象/语言 立即下载
基于streaming构建统一的数据处理引擎的挑战与实践 立即下载
Flink中的两类新型状态存储 立即下载