开发者社区> 问答> 正文

请教个问题,blink在提交sql作业时,并发可以不同吗?比如,我想join两个hive表,但是两个表大小差很多,所以一个表的并发需要大一些,另外一个表的并发需要小一些,但是直接使用sql提交时,设置并发后,所有的节点都是一样的并发。有没有什么办法可以调的啊

转自钉钉群21789141:请教个问题,blink在提交sql作业时,并发可以不同吗?比如,我想join两个hive表,但是两个表大小差很多,所以一个表的并发需要大一些,另外一个表的并发需要小一些,但是直接使用sql提交时,设置并发后,所有的节点都是一样的并发。有没有什么办法可以调的啊

展开
收起
赵慧@ApacheFlink中文社区 2019-02-21 16:20:52 3674 0
1 条回答
写回答
取消 提交回答
  • 姬平:
    sql.resource.infer.mode设置为ONLY_SOURCE(根据数据量推断source并发),
    sql.resource.infer.rows-per-partition是推断的时候,让一个并发处理多少条数据,
    sql.resource.infer.source.parallelism.max限制推断的最大并发

    2019-07-17 23:28:54
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载