开发者社区 问答 正文

set odps.stage.reducer.num=20;设置了这个参数后, 为什么reduce的task 数量还是没变?

set odps.stage.reducer.num=20;设置了这个参数后, 为什么reduce的task 数量还是没变?

展开
收起
知与谁同 2017-05-19 10:57:07 3951 分享 版权
1 条回答
写回答
取消 提交回答
  • 这个设置是能起建议作用,但是无法保证一定能起这么多个worker
    您的代码里是
    ROW_NUMBER() OVER (PARTITION BY 1 ORDER BY mac) AS row_id
    取全局排序序号,这个操作只能用一个worker跑。

    2019-07-17 21:11:36
    赞同 展开评论