转自钉钉群21789141:请教个问题,blink在提交sql作业时,并发可以不同吗?比如,我想join两个hive表,但是两个表大小差很多,所以一个表的并发需要大一些,另外一个表的并发需要小一些,但是直接使用sql提交时,设置并发后,所有的节点都是一样的并发。有没有什么办法可以调的啊
姬平:
sql.resource.infer.mode设置为ONLY_SOURCE(根据数据量推断source并发),
sql.resource.infer.rows-per-partition是推断的时候,让一个并发处理多少条数据,
sql.resource.infer.source.parallelism.max限制推断的最大并发
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。