环境信息
canal version 1.1.4 mysql version 8 zookeeper latest
问题描述
我在数据库执行create table xxx_etl_init as select * from xxx 这样的dml语句,对xxx表存量数据做初始化etl, 对于数据量几千的表没什么问题,
但是当遇到数据量9万以上的表时,canal-server会出现以下日志——最初22:35的两条是正常的 客户端订阅轮训后产生的,但是接下来23:13:47以及之后不断出现的日志 则会导致重复订阅 :
2020-05-25 22:35:55.005 [New I/O server worker #1-1] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to qcdbv2..* 2020-05-25 22:35:55.006 [New I/O server worker #1-1] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^qcdbv2..$ 2020-05-25 23:13:47.771 [New I/O server worker #1-2] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to qcdbv2.. 2020-05-25 23:13:47.772 [New I/O server worker #1-2] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^qcdbv2..$ 2020-05-25 23:13:52.883 [New I/O server worker #1-3] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to qcdbv2.. 2020-05-25 23:13:52.883 [New I/O server worker #1-3] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^qcdbv2..$ 2020-05-25 23:41:35.519 [New I/O server worker #1-4] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to qcdbv2.. 2020-05-25 23:41:35.519 [New I/O server worker #1-4] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^qcdbv2..*$
原提问者GitHub用户VincentLiSH
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。