开发者社区> 问答> 正文

Shuffle过程环形缓冲区的作用是什么?

Shuffle过程环形缓冲区的作用是什么?

展开
收起
真的很搞笑 2021-12-05 23:49:25 596 0
1 条回答
写回答
取消 提交回答
  • 数据从map()输出,经过Partitioner分区操作,在进入环形缓冲区。默认情况下,环形缓冲区大小值为100MB。当map输入的数据进入环形缓冲区的量达到80MB以上时,那么开始执行溢写过程,溢写过程中如果有其他数据进入,那么由剩余的百分之20反向写入,最终溢写文件经过合并、排序后落入本地磁盘。

    2021-12-05 23:49:40
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载