开发者社区> 问答> 正文

使用canal配置动态topic时,出现如下的错误

环境信息

canal version 1.3 mysql version 5.50

问题描述

使用canal配置动态topic时,出现如下的错误 [pool-4-thread-1] ERROR com.alibaba.otter.canal.server.CanalMQStarter - batchId:289 is not the firstly:92 com.alibaba.otter.canal.meta.exception.CanalMetaManagerException: batchId:289 is not the firstly:92 请问这个是哪里造成的啊

instance.propertites中的动态topic

#canal.instance.filter.regex=... canal.instance.filter.regex=DMS.table_design,DMS.column_design,DMS.test,DMS.task

原提问者GitHub用户Memory30

展开
收起
古拉古拉 2023-05-08 14:22:48 112 0
2 条回答
写回答
取消 提交回答
  • regex有长度限制的,最长应该是4k

    原回答者GitHub用户agapple

    2023-05-09 17:59:31
    赞同 展开评论 打赏
  • 这个问题可能是由于Canal的内部批次管理机制引起的,它通过记录每个批次的id来管理已经发送到MQ的批次,以确保每个批次仅被处理一次。

    由于你使用了动态topic,意味着可以有多个topic接收相同的数据变更,Canal内部就会将这些变更批次分发到不同的topic,而批次的id是全局唯一的,所以可能会出现上述错误。

    2023-05-08 15:05:43
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载