有时候任务运行的比较慢,大家就想设置worker的个数,让更多的worker跑任务,以下是总结的设置的方法。还有蛮多的不支持,等以后支持了后再补上。
不过需要先提一句,ODPS的worker的个数是由一个很复杂的算法算出来的,并非是你设置多少就一定会是多少。比如你做了一个全表order by,那reduce worker的个数就一定是1,你设置多了也没用。
SQL:
>_<目前御膳房暂时还不支持sql的worker个数调整。以后如果支持了再来填坑。
MR:
调整worker个数和内存的方法为在base.mapred.xml里配置,目前只支持reduce端的设置,比如说<numReduceTask>8</numReduceTask>和<memoryForMapTask>2048</memoryForMapTask>
PAI:
除了算法里明确可以调整worker个数的,比如随机森林里的树的个数,否则暂时还不支持调整。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。