倾斜Join优化对Shuffle框架提出了什么新的需求?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
倾斜Join优化对Shuffle框架提出的新需求是ShuffleReader要能支持范围MapId。综合Partition合并优化对范围Partition的需求,ShuffleReader的接口演化为支持多个参数的方法,如代码中所示:
scala
    def getReader[K, C]( 
    handle: ShuffleHandle, 
    startMapIndex: Int, 
    endMapIndex: Int, 
    startPartition: Int, 
    endPartition: Int, 
    context: TaskContext, 
    metrics: ShuffleReadMetricsReporter): ShuffleReader[K, C]