开发者社区> 问答> 正文

通常所说的 DAG 组件指的是什么?

通常所说的 DAG 组件指的是什么?

展开
收起
曦情兮 2022-05-09 22:10:31 718 0
1 条回答
写回答
取消 提交回答
  • 通常所说的 DAG 组件,指的是每个分布式作业的中心管理点,也就是 application master (AM)。AM 之所以经常被称为 DAG (Directional Acyclic Graph, 有向无环图) 组件,是因为 AM 最重要的责任,就是负责协调分布式作业的执行。而现代的分布式系统中的作业执行流程,通常可以通过 DAG 上面的调度以及数据流来描述。相对于传统的 Map-Reduce执行模式, DAG 的模型能对分布式作业做更精准的描述,也是当今各种主流大数据系统 (Hadoop 2.0+, SPARK, FLINK, TENSORFLOW 等) 的设计架构基础,区别只在于 DAG 的语义是透露给终端用户,还是计算引擎开发者。

    2022-05-10 12:30:01
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
为并行图数据处理提供高层抽象/语言 立即下载
LOCKet:安全源于独立 立即下载
安全,源于独立 立即下载