开发者社区> 问答> 正文

关于spark分区什么时候进行的问题?

游客saqcxjoyi2n6i 2019-04-19 11:27:19 148

spark分区是在maptask 到reduceTask的时候进行分区,还是说在sc.textFile就开始分区了呢

我测试了一下,sc.textFile默认分区后我把每个分区的内容打印出来发现不是hash算法分区,但是当我经过了shuffle算子之后再打印各个分区的内容就是按照hash算法分区

所以很疑惑,如果是sc.textFile就开始分区,那么假设3个block块,我在sc.textFile就指定5个分区,那就得将3个block块分成5个分区,那会很占用内存和网络资源(map取各个block块中的某一个分区),感觉有点不太合理啊,然后再经过shuffle算子,再次分区,感觉很慢啊;

我在想是不是一开始sc.textFile在读取hdfs的数据时,按照平均的方式给每个一分区数据(例如:3个block块共384MB,5个分区就是各76.8Mb,每个map读取这76.bMB数据),然后在经过shuffle算子的时候才开始按照hash算法分区,生成文件,再由reduce取各个节点的分区值,这样也能说的通,最后五个part-0000文件,shuffle过程的桶也是5*5=25

分享到
取消 提交回答
全部回答(1)
  • 游客saqcxjoyi2n6i
    2019-07-17 23:33:48

    没有大神能解释一下吗

    0 0