FlinkCdc采集Mysql数据,在多并行度情况下,如何保证数据的顺序性

场景:flinkcdc 采集Mysql的user表数据写入到kafka,然后flink再从kafka消费数据写入到StarRocks数据库里面,然后 flink设置并行度为2;如果此时user表新增了一条数据,而后又立马被删除了,那么由于flink的并行度为2可能会存在并且每个任务的处理速度不一样,比如删除的binLog发送给任务A,新增的binLog发送给任务B,那么 会存在flink的 任务A消费并处理删除的binLog数据,而任务B后消费处理新增的binLog数据吗?这样是不是就无法保证了 flink写入到 StarRocks的数据和Mysql的数据保持一致了

展开
收起
1801528684753123 2024-07-02 16:38:23 159 发布于江苏 分享
分享
版权
举报
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等