开发者社区> 问答> 正文

map端计算结果缓存有三种处理方式是什么?

map端计算结果缓存有三种处理方式是什么?

展开
收起
游客fbdr25iajcjto 2021-12-12 23:14:58 2188 0
1 条回答
写回答
取消 提交回答
  • map端对计算结果在缓存中执行聚合和排序。

    map不使用缓存,也不执行聚合和排序,直接调用spillToPartitionFiles将各个partition直接写到自己的存储文件(即bypassMergeSort为true的情况),最后由reduce端对计算结果执行合并和排序。

    map端对计算结果简单缓存。

    2021-12-12 23:15:24
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
基于英特尔 SSD 的虚拟机缓存解决SSD 立即下载
用户态高速块缓存方案 立即下载
高性能Web架构之缓存体系 立即下载