开发者社区 问答 正文

如何拆分一个大的binlog报文

我现在消费binlog日志,上游mysql会经常进行大批量的操作。kafka报文消息中单条kafka消息中会包含多条数据,是否又办法进行一个拆分呢?比如如果是一个大的报文,即:同一个报文中包含了100条数据,是否支持拆分成20条数据为一个报文进行发送?

原提问者GitHub用户liujinhui1994

展开
收起
后端老大 2023-04-26 17:04:27 225 分享 版权
1 条回答
写回答
取消 提交回答
  • 目前binlog本身会有一定的拆包行为,canal在解析binlog后发送给MQ,可以通过设置partition策略来将大binlog拆分

    原回答者GitHub用户agapple

    2023-04-26 19:34:21
    赞同 展开评论