开发者社区> 问答> 正文

Flink SQL共享source 问题

目前我有一个任务,source table是读取一个topic生成的,但是有6个sink,使用了多条insert 语句输出到同一张mysql表中,按照我的理解,这些insert语句

应该都是共享这个source table的,读取kafka只需要读取一次,但是在运行过程中发现kafka topic有的分区消费的很快有的分区很慢,请问一下可能是什么原因呢?

topic一共是18个分区,任务是18个并行度*来自志愿者整理的flink邮件归档

展开
收起
小阿怪 2021-12-06 12:31:23 964 0
1 条回答
写回答
取消 提交回答
    1. 是不是共享了 source,看下 web ui 中的拓扑图就知道了
    2. 追数据的时候,或者下游消费速度不一的时候,分区之间消费不均衡是很正常的。
    3. 你可以调大 sink 的并发,以及增加 buffer size 来缓解这个问题。*来自志愿者整理的flink邮件归档
    2021-12-06 14:39:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载