开发者社区 问答 正文

Reducer数目如何设置?

Reducer数目如何设置?

展开
收起
芯在这 2021-12-08 17:14:10 236 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 通过JobConf的接口setNumReduceTasks可以设置。

    对于pipeline作业,Jobconf的接口同样可以设置,只不过设置后所有reduce阶段的个数都是同样的值。

    如果要分阶段设置,设置方式如下:

    .addMapper(TokenizerMapper.class) ... .addReducer(SumReducer.class).setNumTasks(5) ... .addReducer(IdentityReducer.class).setNumTasks(1).createPipeline();

    2021-12-08 17:14:29 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答地址:
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等