运行客户端 batchId偶尔出现冲突问题
batchId:2176966 is not the firstly:2176965 at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.receiveMessages(SimpleCanalConnector.java:302) at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.getWithoutAck(SimpleCanalConnector.java:279) at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.getWithoutAck(SimpleCanalConnector.java:252) at com.yagou.yggx.provider.datasync.start.AbstractCanalStart.process(AbstractCanalStart.java:115)
下面是代码：
int batchSize = 5 * 1024; while (running) { try { MDC.put("destination", destination); connector.connect(); connector.subscribe(); while (running) { // 获取指定数量的数据 Message message = connector.getWithoutAck(batchSize); long batchId = message.getId(); int size = message.getEntries().size(); List entrys = message.getEntries(); if (batchId == -1 || size == 0) { // try {Thread.sleep(1000); // } catch (InterruptedException e) { } } else { DataSourceListenerInformation.comeOutEntry(entrys); } connector.ack(batchId); // 提交确认
原提问者GitHub用户youngJavabird
写回答
-
一个destination,对应一个消费端。多个消费端同时消费同一个destination，就会报batchId不存在或不是位点
原回答者GitHub用户youngJavabird
2023-05-10 10:39:37赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
