开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

1.13.6的flink,该事务执行时间稍长由比较多的数据被处理,但与该job关注的表无关?

1.13.6的flink,cdc读mysql的binlog,卡在一个binlog点上,就在一直卡在这里。在这期间附近有个其他表的大事务操作发生,该事务执行时间稍长由比较多的数据被处理,但与该job关注的表无关?io.debezium.connector.mysql.MySqlStreamingChangeEventSource [] - Stopped reading binlog after 0 events, no new offset was recorded io.debezium.connector.mysql.MySqlStreamingChangeEventSource [] - Connected to MySQL binlog atMySQL cdcimage.png
后来,在卡住大概2小时后发生了OOM

展开
收起
真的很搞笑 2023-11-07 19:43:37 75 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    当 Flink CDC 卡在一个 binlog 点时,请考虑以下因素:

    1. 网络不稳定:请检查网络连接,包括 MySQL 和 Flink CDC 的网络状态。
    2. MySQL 错误:请检查 MySQL 数据库的状态,看看是否有错误。
    3. binlog 文件:检查 MySQL 数据库是否正确记录 binlog 文件,是否有足够的存储空间。
    4. 版本兼容性:确认 Flink CDC 的版本和 MySQL 数据库版本兼容。
    2023-11-11 14:59:32
    赞同 展开评论 打赏
  • 加大内存,mysql binlog机制只能订阅实例的全部表的变更,此回答整理自钉群“Flink CDC 社区”

    2023-11-08 07:42:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载