AI 助理
备案控制台
开发者社区 问答 正文

调用SortShuffleWriter的write方法它实现的是什么功能？

调用SortShuffleWriter的write方法它实现的是什么功能？

展开
收起
游客fbdr25iajcjto 2021-12-06 21:15:27 593 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客7ygkl73u5msna

    1) 创建ExternalSorter，然后调用insertAll将计算结果写入缓存。

    2) 调用shuffleBlockManager.getDataFile方法获取当前任务要输出的文件路径。

    3) 调用shuffleBlockManager.consolidateId创建blockId。

    4) 调用ExternalSorter的writePartitionedFile将中间结果持久化。

    5) 调用shuffleBlockManager.writeIndexFile方法创建索引文件。

    6) 创建MapStatus。

    2021-12-06 21:16:02
    赞同 展开评论
问答地址：
开发者社区 > 云计算 > 问答
相关问答
调用write_table()方法向表中写入数据时会发生什么？
997
1
0
PrintWriter调用write方法之后使用flush方法获取不到内容
6447
1
0
richmapfuntion的open/close方法，和处理数据的map方法，是在同一个线程，还是
2242
1
0
取消链接后，为什么重新调用了sys.stdout.write（）方法？
611
1
0
pyhton中为什么要反复调用read（size)方法？
303
1
0
调用方式
1655
0
0
PCDN的调用方式有哪些？
858
1
0
使用idxmax()和idxmin()一般用什么数据调用？
288
1
0
在Stream类上的中间操作和终止操作返回的什么？
328
1
0
如何判断客户端调用了close?
382
1
0