开发者社区> 问答> 正文

通过canal同步数据,消费kafka数据时出现了别的数据库里的信息

环境信息

canal version v1.1.2 mysql version v5.7.22 kafka version v1.1.0

问题描述

我在instance.properties里配置的数据库是canal_test,但是在kafka上手动消费canal_test对应的topic时总是不定时的出现另外一个数据库信息,这个数据库是Metabash这个开源工具的这个工具一直在运行着。下面是kafka里出现的错误的消息内容: {"data":null,"database":"","es":1553581724000,"id":291,"isDdl":false,"mysqlType":null,"old":null,"sql":"UPDATE QRTZ_SCHEDULER_STATE SET LAST_CHECKIN_TIME = 1553581724317 WHERE SCHED_NAME = 'MetabaseScheduler' AND INSTANCE_NAME = 'e4bbb2ef0fcc1551666458397'","sqlType":null,"table":"QRTZ_SCHEDULER_STATE","ts":1553581724502,"type":"QUERY"} {"data":[{"SCHED_NAME":"MetabaseScheduler","INSTANCE_NAME":"e4bbb2ef0fcc1551666458397","LAST_CHECKIN_TIME":"1553581724317","CHECKIN_INTERVAL":"7500"}],"database":"metabase","es":1553581724000,"id":291,"isDdl":false,"mysqlType":{"SCHED_NAME":"varchar(120)","INSTANCE_NAME":"varchar(200)","LAST_CHECKIN_TIME":"bigint(20)","CHECKIN_INTERVAL":"bigint(20)"},"old":[{"LAST_CHECKIN_TIME":"1553581716816"}],"sql":"","sqlType":{"SCHED_NAME":12,"INSTANCE_NAME":12,"LAST_CHECKIN_TIME":-5,"CHECKIN_INTERVAL":-5},"table":"QRTZ_SCHEDULER_STATE","ts":1553581724502,"type":"UPDATE"}

消费kafka里的数据时,上面消息里的id值是会增加的,但是我看了一下metabase数据库里的QRTZ_SCHEDULER_STATE表的内容并没有发生任何改变

期待结果

消费kafka对应的topic应该只会出现和该topic对应的数据库里的信息

现执行情况

消费kafka topic里的数据出现了别的数据库里的信息

原提问者GitHub用户lijif

展开
收起
古拉古拉 2023-05-08 13:40:43 102 0
1 条回答
写回答
取消 提交回答
  • 需要通过table filter做精确过滤,参考一下FAQ里的描述

    原回答者GitHub用户agapple

    2023-05-09 17:46:33
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载