开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

mysql8.0,同步数据,写kafka,dbzsource里有binlog事件,kafka里没有数

mysql8.0,同步数据,写kafka,dbzsource里有binlog事件,kafka里没有数据,用的mysqlsource,不是sql,怎么解决?

展开
收起
游客3oewgrzrf6o5c 2022-07-07 14:58:33 470 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,有可能是以下几种情况:

    1. 检查一下kafka的配置是否正确,比如topic名、broker地址、分区数等等;

    2. 检查一下binlog格式是否正确,DBZ支持的binlog格式有ROW、STATEMENT和MIXED,其中ROW模式是最为推荐的,可以在mysql的配置文件中进行设置;

    3. 检查mysqlsource的配置是否正确,比如连接信息是否正确、表名是否正确、数据类型是否正确等等;

    4. 检查一下kafka是否有消费者在消费数据,可以用kafka自带的消费者工具来进行测试。如果没有消费者在消费数据,可以尝试创建一个消费者来消费数据,这样有可能解决问题。

    如果以上方法都没有解决问题,建议查看一下binlog中的内容是否符合预期,可以使用mysqlbinlog命令来查看。也可以查看一下kafka的日志和DBZ的日志,看看是否有任何报错信息。

    2023-08-19 23:38:44
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载

相关镜像