开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在DAG1.0 框架上, PS 与 worker如何联系

已解决

在DAG1.0 框架上, PS 与 worker如何联系

展开
收起
游客lmkkns5ck6auu 2022-08-10 11:13:22 411 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    在1.0 框架上, PS 与 worker 只能作为两个孤立无联系的 stage 来分开调度和运行。此外所有 PS 与 worker 之间,也只能完全通过计算节点间直连通讯,以及在外部 entity(比如 zookeeper 或 nuwa)协助来进行沟通与协调。这导致 AM/DAG 作为中心管理节点作用的缺失,作业的管理基本被下放计算引擎上,由计算节点之间自行试图协调来完成。这种无中心化的管理,对稍微复杂的情况下(failover 等)无法很好的处理。

    1. 以上内容摘自《“伏羲”神算》电子书,点击https://developer.aliyun.com/topic/download?id=873
    2022-08-10 18:21:53
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载