开发者社区> 问答> 正文

Remote Shuffle Service架构可总结为哪三点?

Remote Shuffle Service架构可总结为哪三点?

展开
收起
游客c7gnq4eofxp32 2022-05-09 08:06:46 454 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • Shuffle数据通过网络写出,中间数据计算与存储分离架构; DFS 2副本,消除Fetch Failed引起的重算,Shuffle Heavy作业更加稳定; Reduce阶段顺序读磁盘,避免现有版本的随机IO,大幅提升性能。

    2022-05-09 15:44:22
    赞同 展开评论 打赏
问答标签:
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载
青团社云原生架构实践—亿级灵活用工平台的架构实践 立即下载