开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink-connector-mysql-cdc 2.3.0 initial读取不了增加数据

flink-connector-mysql-cdc 2.3.0在使用StartupOptions.initial()的时候只有第一次读取了全量数据 , 然后后面增量数据的binlog读取不到?

展开
收起
游客tu75okt2gorl6 2023-06-28 17:12:53 139 0
1 条回答
写回答
取消 提交回答
  • MySQL CDC 连接器在 2.3.0 版本中默认使用了新的 Binlog Format,该格式对新增数据的处理方式与旧版本有所不同。

    在旧版本中,MySQL CDC 连接器会在 initial 阶段读取新增数据,并将其保存在元数据库中。在新的版本中,MySQL CDC 连接器只会在 incremental 阶段读取新增数据,并不会将其保存在元数据库中。

    因此,如果您在 2.3.0 版本中遇到 initial 阶段读取不了新增数据的问题,请检查以下几点:

    您是否使用了新的 Binlog Format。如果您仍然使用旧版本的 Binlog Format,则建议您升级到新的 Binlog Format。
    您是否在 initial 阶段启用了 fetch_full_table_metadata 参数。如果您没有启用该参数,则 MySQL CDC 连接器不会在 initial 阶段读取新增数据。
    如果您仍然无法解决问题,请提交工单,我们会进行进一步的排查。

    2023-09-28 11:50:45
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像