串行跑10个处理1个partition的job和跑1个处理10个partition的job,同样的10个partition,处理的业务逻辑是一样的,只是一个是多路输入输出的,运行时间一样吗?? 因为目前用并行处理是希望节省时间,禁止并发的话,来不及处理。 多个任务会处理同一张表,但是是不同的partition,试验了几次,都是会有部分任务有问题; mapper阶段确实就是并发,但是目前遇到的状况是,并行跑10个job,每个job大概72个parttion,并行跑的时候,每个job任务提交到开始执行挺快的,-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

串行跑10个处理1个partition的job和跑1个处理10个partition的job,同样的10个partition,处理的业务逻辑是一样的,只是一个是多路输入输出的,运行时间一样吗?? 因为目前用并行处理是希望节省时间,禁止并发的话,来不及处理。 多个任务会处理同一张表,但是是不同的partition,试验了几次,都是会有部分任务有问题; mapper阶段确实就是并发,但是目前遇到的状况是,并行跑10个job,每个job大概72个parttion,并行跑的时候,每个job任务提交到开始执行挺快的,

2017-05-14 22:35:21 3637 1

串行跑10个处理1个partition的job和跑1个处理10个partition的job,同样的10个partition,处理的业务逻辑是一样的,只是一个是多路输入输出的,运行时间一样吗??
因为目前用并行处理是希望节省时间,禁止并发的话,来不及处理。
多个任务会处理同一张表,但是是不同的partition,试验了几次,都是会有部分任务有问题;
mapper阶段确实就是并发,但是目前遇到的状况是,并行跑10个job,每个job大概72个parttion,并行跑的时候,每个job任务提交到开始执行挺快的,但是如果720个partition放到一个job里面去处理的话,任务提交时间就会非常久,这个任务提交上去到真正开始执行mapreduce的时间,能优化吗?

取消 提交回答
全部回答(1)
  • 123ya
    2019-07-17 21:10:11

    您好,实际上MaxCompute本身是分布式的,mr的中map和reduce也是并发处理的,用户无须干预。
    另外odps对表的操作不支持并发操作的,因为没有事务的控制,如果您多个任务处理同一个partition很有可能报错。
    处理的速度还是需要您从业务逻辑上优化,以及调节map和reduce的work内存等来调节速度,
    https://help.aliyun.com/document_detail/27834.html?spm=5176.doc35455.6.568.SXtLZy
    您参考其中的set命令,另外,如果是后付费的项目,计算资源如果需要很多可能出现等待的情况,我看您的任务消耗资源还是蛮大的,后付费的项目使用的是公共的计算资源,所以刚开始可能需要等待资源。

    0 0
相关问答

0

回答

Java性能调优,java中合并两个HashMap对象性能最快方法的是什么?

2021-11-07 21:11:58 158浏览量 回答数 0

1

回答

求推荐JAVA工作流引擎

2020-05-31 17:38:58 593浏览量 回答数 1

1

回答

请问下注入mysql场景之前需要挂载java agent blade prepare jvm --p

2022-07-24 08:37:43 194浏览量 回答数 1

0

回答

请问下注入mysql场景之前需要挂载java agent blade prepare jvm --p

2022-07-24 08:37:42 174浏览量 回答数 0

1

回答

JVM 类的虚方法表

2020-04-24 23:56:52 1562浏览量 回答数 1

1

回答

JVM 类的虚方法表

2020-04-25 13:50:45 328浏览量 回答数 1

7

回答

求官方解答,代码压缩包错传为rar格式,22上午重新上传为zip,有问题没?

2014-04-22 09:43:16 7054浏览量 回答数 7

1

回答

java管理员身份运行exec()

2016-06-17 08:41:06 2304浏览量 回答数 1

2

回答

JAVA对文件流对象进行读写操作时报错:数组越界异常,该如何解决?

2021-10-25 23:53:37 662浏览量 回答数 2

1

回答

遇到一个情况,阿里云跑起来的java server post方法不支持

2018-02-02 10:35:52 2645浏览量 回答数 1
+关注
0
文章
80
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载