开发者社区> 问答> 正文
1
0
分享

Reducer数目如何设置?

Reducer数目如何设置?

展开
收起
芯在这 2021-12-08 17:14:10 227 0
举报
1 条回答
写回答
取消 提交回答
  • 通过JobConf的接口setNumReduceTasks可以设置。

    对于pipeline作业,Jobconf的接口同样可以设置,只不过设置后所有reduce阶段的个数都是同样的值。

    如果要分阶段设置,设置方式如下:

    .addMapper(TokenizerMapper.class) ... .addReducer(SumReducer.class).setNumTasks(5) ... .addReducer(IdentityReducer.class).setNumTasks(1).createPipeline();

    2021-12-08 17:14:29 举报
    赞同 评论 打赏

    评论

    全部评论 (0)

    登录后可评论
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等