开发者社区 问答 正文

Hadoop shuffle的reduce端拉取拷贝的过程是怎么样的?

Hadoop shuffle的reduce端拉取拷贝的过程是怎么样的?

展开
收起
游客fq2cv4o24bhvc 2021-12-05 10:53:24 378 分享 版权
1 条回答
写回答
取消 提交回答
  • reduce任务通过向各个map任务拉取对于分片,此过程都是以HTTP协议完成,每个map节点都会启动一个常驻的HTTP server服务,reduce节点会请求这个HTTP server拉取数据

    2021-12-05 10:55:45
    赞同 展开评论