开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里我按照flink-cdc-3.0官方文档操作怎么办?

Flink CDC里我按照flink-cdc-3.0官方文档操作 以基于 Flink CDC 3.0 构建 MySQL 到 Doris 的 Streaming ELT的方式 将mysql-5.7的数据同步到Doris-2.0.2 执行bin/flink-cdc.sh mysql-to-doris.yaml同步任务 Doris一侧第一次能正常接收到表和示例数据 但是当源数据库mysql的表新增数据记录时 Doris一侧接收不到表新增数据 变更无法同步
https://ververica.github.io/flink-cdc-connectors/master/content/%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B/mysql-doris-pipeline-tutorial-zh.html 怎么解决?26cad02c413583ebd1331df7f86e101a.png

展开
收起
小小鹿鹿鹿 2024-01-18 01:21:00 102 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题可能是由于Flink CDC在处理MySQL表新增数据记录时,没有正确触发变更事件导致的。你可以尝试以下方法来解决这个问题:

    1. 检查MySQL和Doris的日志,看是否有关于变更事件的详细信息。这有助于定位问题所在。

    2. mysql-to-doris.yaml配置文件中,确保debezium.source.include.schemas配置项包含了所有需要同步的数据库和表。例如:

      debezium:
        source:
          mysql:
            host: <your_mysql_host>
            port: 3306
            username: <your_mysql_username>
            password: <your_mysql_password>
            database-whitelist: "<your_database_name>"
            table-whitelist: "<your_table_name>"
            include-schemas: "<your_database_name>"
      
    3. mysql-to-doris.yaml配置文件中,尝试增加max-poll-intervalpoll-interval的值,以便让Flink CDC更频繁地检查MySQL表的变化。例如:

      flink-cdc:
        sink:
          doris:
            ...
        properties:
          max-poll-interval: 60000
          poll-interval: 1000
      
    4. 如果问题仍然存在,可以考虑使用其他工具(如Debezium Connector)来实现MySQL到Doris的数据同步,或者寻求社区支持以获取更多帮助。

    2024-01-19 15:30:02
    赞同 展开评论 打赏
  • 看下job的checkpoint history有没有做检查点。此回答来自钉群Flink CDC 社区。

    2024-01-18 11:06:33
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 覃立辉 立即下载
    Flink CDC Meetup PPT - 孙家宝 立即下载
    Flink CDC Meetup PPT - 徐榜江 立即下载