开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinkcdc两个flink-sql同时运行,使用的是mysql-cdc表,这些问题怎么解决?

flinkcdc两个flink-sql同时运行,使用的是mysql-cdc表,日志显示发生了server id冲突:
Caused by: io.debezium.DebeziumException: A slave with the same server_uuid/server_id as this slave has connected to the master...
Error code: 1236; SQLSTATE: HY000.
The 'server-id' in the mysql cdc connector should be globally unique, but conflicts happen now.

关于server id冲突,想请教一下大家:
1:不同mysql集群之间,server id可以相同?
2:同一个mysql-master,不同flink-sql中使用同一个mysql-cdc表,每个表的server id不能相同?
3:同一个mysql-master,同一个flink-sql中多个地方使用同一个mysql-cdc表,每次使用这个表的server id不能相同?
4:同一个mysql-master,同一个flink-sql中使用多个不同的mysql-cdc表,每个表的server id不能相同?
5:官方文档说server id默认取值范围是 5400 -- 6400 ,那我使用超过6400+的server id,会不会有问题?

展开
收起
小小鹿鹿鹿 2024-04-15 21:05:57 122 0
1 条回答
写回答
取消 提交回答
  • 1、不同mysql集群之间,server id可以相同,
    2、如果是不同的链接,flink-sql,每个表的server id不能相同,如果是同一个source,server id一个就行了(整库同步)
    3、官方文档说server id默认取值范围是 5400 -- 6400 ,那我使用超过6400+的server id,不会有问题
    4、推荐使用整库同步,(3.0的pipeline)此回答来自钉群Flink CDC 社区。

    2024-04-15 22:00:48
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    SQL Server 2017 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载

    相关镜像