开发者社区> 问答> 正文

E-MapReduce多执行计划并行执行是什么?


为了最大化利用集群的可用计算资源,目前可以将多个执行计划挂载到同一个集群来达到多个执行计划并行执行的效果。
总结为如下几点:


  1. 同一个执行计划内的作业是串行执行的,默认认为前序作业执行完毕,后序作业才能被提交执行。

  2. 在集群资源足够的情况下,如果想要让多个作业达到并行执行的效果,需要创建多个不同的执行计划,同时关联到同一个集群提交运行即可(默认一个集群最多支持 20 个执行计划同时执行)。

  3. 目前管控系统支持将关联到同一个集群的执行计划并行提交到 Yarn,但如果集群本身资源不足,还是可能阻塞在 Yarn 队列中等待调度。

创建执行计划并关联到集群的流程参见: 执行计划创建流程

展开
收起
nicenelly 2017-10-27 15:32:31 1874 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
阿里云E-MapReduce 立即下载
\"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \" 立即下载
大数据解决方案构建详解 以阿里云E-MapReduce为例 立即下载