开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC3.0 是不是有bug,会报错?

Flink CDC3.0 是不是有bug,会报错?

Caused by: com.github.shyiko.mysql.binlog.event.deserialization.MissingTableMapEventException: No TableMapEventData has been found for table id:73090. Usually that means that you have started reading binary log 'within the logical event group' (e.g. from WRITE_ROWS and not proceeding TABLE_MAP

展开
收起
cuicuicuic 2024-03-06 08:57:25 46 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据提供的错误信息,看起来是Flink CDC 3.0在处理MySQL的二进制日志时遇到了问题。具体来说,它找不到与表ID为73090相关的TableMapEventData。这通常意味着你在逻辑事件组内开始读取二进制日志(例如从WRITE_ROWS开始而不是TABLE_MAP)。

    要解决这个问题,你可以尝试以下方法:

    1. 确保你的Flink CDC版本与MySQL的版本兼容。不同版本的MySQL可能有不同的二进制日志格式和事件类型,因此确保使用与你的MySQL版本相匹配的Flink CDC版本。

    2. 检查你的MySQL服务器配置。确保启用了二进制日志功能,并且设置了正确的binlog_format。Flink CDC需要使用row-based binlog_format来正确解析二进制日志。

    3. 检查你的Flink CDC配置。确保指定了正确的MySQL连接参数,包括主机名、端口、用户名和密码。此外,还要确保指定了正确的数据库名称和表名称,以便Flink CDC能够找到相应的TableMapEventData。

    4. 如果问题仍然存在,尝试升级到最新版本的Flink CDC,以确保修复了任何已知的bug或问题。

    2024-03-08 21:38:22
    赞同 展开评论 打赏
  • Flink CDC 3.0在处理MySQL Binlog时可能会出现此异常,一般是因为binlog事件顺序不正确导致的。确保binlog包含完整的逻辑事务事件序列,或者考虑调整Flink CDC的消费策略以应对这种情况。

    2024-03-06 10:43:39
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载