开发者社区> 问答> 正文

请教个问题,blink在提交sql作业时,并发可以不同吗?比如,我想join两个hive表,但是两个表大小差很多,所以一个表的并发需要大一些,另外一个表的并发需要小一些,但是直接使用sql提交时,设置并发后,所有的节点都是一样的并发。有没有什么办法可以调的啊

赵慧 2019-02-21 16:20:52 428

转自钉钉群21789141:请教个问题,blink在提交sql作业时,并发可以不同吗?比如,我想join两个hive表,但是两个表大小差很多,所以一个表的并发需要大一些,另外一个表的并发需要小一些,但是直接使用sql提交时,设置并发后,所有的节点都是一样的并发。有没有什么办法可以调的啊

SQL HIVE 流计算
分享到
取消 提交回答
全部回答(1)
  • 赵慧
    2019-07-17 23:28:54

    姬平:
    sql.resource.infer.mode设置为ONLY_SOURCE(根据数据量推断source并发),
    sql.resource.infer.rows-per-partition是推断的时候,让一个并发处理多少条数据,
    sql.resource.infer.source.parallelism.max限制推断的最大并发

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程