开发者社区> 问答> 正文

生产配置咨询

线上环境,通过canal嵌入式方式使用,现在想将CanalLogPositionManager配置为FailbackLogPositionManager模式,CanalMetaManager配置为PeriodMixedMetaManager,是否存在重复消费问题?比如:PeriodMixedMetaManager客户端消费某条数据后,还未更新cursor如zookeeper中,任务进行重启,客户端将按照zookeeper中cursor进行重复消费。 为了追求一致性,是否将CanalMetaManager配置为ZooKeeperMetaManager更为合适?

原提问者GitHub用户zqhget1

展开
收起
绿子直子 2023-05-09 15:19:54 74 0
1 条回答
写回答
取消 提交回答
  • 重复消费这块无法避免,位点重复只是一方面,还有就是batch一批数据的处理,如果进程挂了,下次还是会整个batch进行处理。so. 这样的改造没有太多的意义

    原回答者GitHub用户agapple

    2023-05-10 10:42:47
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载