开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中这个报错什么原因?flink cdc 2.3版本,mysql版本5.7.34

问题1:Flink CDC中Caused by: io.debezium.DebeziumException: Received DML 'update jobs set reserved_at = 1689564606, attempts = 1 where id = 43742' for processing, binlog probably contains events generated with statement or mixed based replication format 这个报错什么原因?flink cdc 2.3版本,mysql版本5.7.34
问题2:已经改过了。数据可以同步到,但是也会报错。感觉好像是哪个系统库没同步到,但是我查了一下,应该都同步到了。而且,库里,同步也都没有做job这个表。

展开
收起
小易01 2023-07-24 21:41:31 157 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    些常见的 Flink CDC 报错原因和解决方案,供您参考:
    错误信息:com.alibaba.ververica.cdc.connectors.mysql.debezium.task.context.StateMachineTaskContextException: Cannot execute SQL statement
    解决方案:这种错误通常是由于 SQL 语句错误或数据库连接错误引起的。建议检查 SQL 语句是否正确,以及数据库连接参数是否正确。
    错误信息:Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition
    解决方案:这种错误通常是由于 Kafka 的超时设置太短引起的。建议增加 Kafka 的超时设置,例如将 request.timeout.ms 和 max.block.ms 参数设置为较大的值。
    错误信息:java.lang.OutOfMemoryError: GC overhead limit exceeded
    解决方案:这种错误通常是由于 Flink CDC 应用程序内存不足引起的。建

    2023-07-29 18:44:36
    赞同 展开评论 打赏
  • 意中人就是我呀!

    回答1:binlog改成row格式。此回答整理至钉群“Flink CDC 社区”

    2023-07-26 11:28:55
    赞同 展开评论 打赏
  • 存在即是合理

    问题1:
    这个错误提示表明 Flink CDC 无法正确处理 DML 语句,因为该语句可能使用了基于语句或混合复制格式的 binlog。这可能是由于 MySQL 版本与 Flink CDC 版本不兼容导致的。可以尝试升级 Flink CDC 版本或降级 MySQL 版本来解决这个问题。还可以检查 Flink SQL 中是否正确配置了 MySQL 连接器参数,例如用户名、密码、主机名等。

    问题2:
    如果数据已经同步到目标表中,但仍然出现错误,那么可能是由于某些系统库没有同步导致的。可以检查数据库中的其他表和系统库,确保它们也已正确同步,也可以查看 Flink 作业的日志文件,以获取更多有关错误的详细信息。

    2023-07-25 16:45:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像