Canal对事务的处理逻辑是怎样的？大事物要在内存解析完才能订阅吗？
在v1.1.3版本下，对接kafka。把canal.instance.memory.buffer.size改成128（减小内存消耗），然后更新120万行数据，发现kafka没数据。但buffer.size改回16384却可以正常解析。 请问哪位大神知道Canal在处理这种大事务的时候的逻辑是什么，难道要在内存解析完整个事务才会把数据往kafka送？内存不足以存储一个事务的时候怎么办？
原提问者GitHub用户shengmingzhu
展开
收起
1
条回答
写回答
写回答
-
批量更新120万行数据，在mysql server写入binlog的时候就会拆成多个event了，可以参考这个配置 https://dev.mysql.com/doc/refman/8.0/en/replication-options-binary-log.html#option_mysqld_binlog-row-event-max-size
canal对消息的解析不是以事物为粒度的，是以event为粒度的，transaction buffer满了就会flush。
原回答者GitHub用户zwangbo
2023-05-05 10:47:05赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
相关课程
更多
推荐问答
