开发者社区> 问答> 正文

canal-server1.1.4遇到很大数据量的DML语句时,出现重复订阅

环境信息

canal version 1.1.4 mysql version 8 zookeeper latest

问题描述

我在数据库执行create table xxx_etl_init as select * from xxx 这样的dml语句,对xxx表存量数据做初始化etl, 对于数据量几千的表没什么问题,

但是当遇到数据量9万以上的表时,canal-server会出现以下日志——最初22:35的两条是正常的 客户端订阅轮训后产生的,但是接下来23:13:47以及之后不断出现的日志 则会导致重复订阅 :

2020-05-25 22:35:55.005 [New I/O server worker #1-1] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to qcdbv2..* 2020-05-25 22:35:55.006 [New I/O server worker #1-1] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^qcdbv2..$ 2020-05-25 23:13:47.771 [New I/O server worker #1-2] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to qcdbv2.. 2020-05-25 23:13:47.772 [New I/O server worker #1-2] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^qcdbv2..$ 2020-05-25 23:13:52.883 [New I/O server worker #1-3] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to qcdbv2.. 2020-05-25 23:13:52.883 [New I/O server worker #1-3] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^qcdbv2..$ 2020-05-25 23:41:35.519 [New I/O server worker #1-4] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to qcdbv2.. 2020-05-25 23:41:35.519 [New I/O server worker #1-4] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^qcdbv2..*$

原提问者GitHub用户VincentLiSH

展开
收起
Java工程师 2023-05-03 10:15:03 61 0
1 条回答
写回答
取消 提交回答
  • 这个日志是你客户端在发生重新订阅,检查一下客户端是否有异常?

    原回答者GitHub用户agapple

    2023-05-04 14:21:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载