开发者社区 问答 正文

一个task的map数量由谁来决定?

一个task的map数量由谁来决定?

展开
收起
茶什i 2019-10-29 14:20:25 1854 分享 版权
1 条回答
写回答
取消 提交回答
  • 一般情况下,在输入源是文件的时候,一个task的map数量由splitSize来决定的,那么splitSize是由以下几个来决定的 goalSize = totalSize / mapred.map.tasks inSize = max {mapred.min.split.size, minSplitSize} splitSize = max (minSize, min(goalSize, dfs.block.size)) 一个task的reduce数量,由partition决定。

    2019-10-30 15:22:05
    赞同 展开评论
问答标签:
问答地址: