开发者社区> 问答> 正文

阿里云当前的方案基本收敛到Push Shuffle,但在一些关键设计上各家有什么不同?

阿里云当前的方案基本收敛到Push Shuffle,但在一些关键设计上相比其它各家(Meta、Uber、Intel等采用的方案)有什么不同?

展开
收起
游客tbwjb5xynyh2u 2022-05-08 17:32:51 392 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 集成到Spark内部还是独立服务。 RSS服务侧架构,选项包括:Master-Worker,含轻量级状态管理的去中心化,完全去中心化。 Shuffle数据的存储,选项包括:内存,本地盘,DFS,对象存储。 多副本的实现,选项包括:Client多推,服务端做Replication。

    2022-05-09 16:42:27
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
Blade优化技术在广告计算中的应用优化 立即下载
YY直播基于软硬件的弱网深度优化 立即下载
图计算专场—大规模分布式图计算、学习和推理技术 及创新应用论 立即下载