问题一:阿里云RSS如何处理Mapper的首次PushData请求?
阿里云RSS如何处理Mapper的首次PushData请求?
参考回答:
Mapper在首次PushData时会请求Master分配Worker资源,Worker记录自己所需要服务的Partition列表。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670753
问题二:在阿里云RSS中,数据超过内存阈值时是如何处理的?
在阿里云RSS中,数据超过内存阈值时是如何处理的?
参考回答:
当Mapper缓存的Shuffle数据超过内存阈值时,会触发Push操作,将隶属同个Partition的数据推送到同一个Worker进行合并。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670755
问题三:阿里云RSS如何实现数据的Replication?
阿里云RSS如何实现数据的Replication?
参考回答:
在阿里云RSS中,数据达成内存两副本是通过主Worker在接收到数据后立即向从Worker发起Replication来实现的。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670757
问题四:阿里云RSS如何处理Mapper Stage运行结束后的剩余数据?
阿里云RSS如何处理Mapper Stage运行结束后的剩余数据?
参考回答:
Mapper Stage运行结束后,MetaService会向Worker发起CommitFiles命令,Worker将残留在内存的数据全部刷盘并返回文件列表。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670760
问题五:在阿里云RSS中,Reducer如何读取Shuffle数据?
在阿里云RSS中,Reducer如何读取Shuffle数据?
参考回答:
Reducer从MetaService返回的文件列表中读取对应的Shuffle数据。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/670762