开发者社区> 问答> 正文

如何设置worker的个数


    有时候任务运行的比较慢,大家就想设置worker的个数,让更多的worker跑任务,以下是总结的设置的方法。还有蛮多的不支持,等以后支持了后再补上。
    不过需要先提一句,ODPS的worker的个数是由一个很复杂的算法算出来的,并非是你设置多少就一定会是多少。比如你做了一个全表order by,那reduce worker的个数就一定是1,你设置多了也没用。
SQL:
       >_<目前御膳房暂时还不支持sql的worker个数调整。以后如果支持了再来填坑。
MR:
      调整worker个数和内存的方法为在base.mapred.xml里配置,目前只支持reduce端的设置,比如说<numReduceTask>8</numReduceTask>和<memoryForMapTask>2048</memoryForMapTask>
PAI:
     除了算法里明确可以调整worker个数的,比如随机森林里的树的个数,否则暂时还不支持调整。

展开
收起
传学 2015-11-23 11:16:43 6907 0
1 条回答
写回答
取消 提交回答
  • 好东西分享,大家速来围观
    2015-11-23 13:45:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载