线上环境,通过canal嵌入式方式使用,现在想将CanalLogPositionManager配置为FailbackLogPositionManager模式,CanalMetaManager配置为PeriodMixedMetaManager,是否存在重复消费问题?比如:PeriodMixedMetaManager客户端消费某条数据后,还未更新cursor如zookeeper中,任务进行重启,客户端将按照zookeeper中cursor进行重复消费。 为了追求一致性,是否将CanalMetaManager配置为ZooKeeperMetaManager更为合适?
原提问者GitHub用户zqhget1
重复消费这块无法避免,位点重复只是一方面,还有就是batch一批数据的处理,如果进程挂了,下次还是会整个batch进行处理。so. 这样的改造没有太多的意义
原回答者GitHub用户agapple
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。