AI 助理
备案控制台
开发者社区 问答 正文

关于client消费binlog时的容错机制

clent消费binlog写入kafka，如果这一过程中出错，消费的部分binlog并未成功写入kafka，该如何处理以保证写入kafka的数据完整且无重复？

原提问者GitHub用户fightingsz

展开
收起
数据大拿 2023-05-04 11:50:34 87 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 后端老大

    无重复无法做到，只能保证数据不丢

    原回答者GitHub用户agapple

    2023-05-05 10:21:16
    赞同 展开评论
问答分类：
消息中间件 Kafka 云消息队列 Kafka 版
问答标签：
binlog机制 binlog client client binlog
问答地址：
开发者社区 > 微服务 > 问答
相关问答
Hologres用Flink或者holo client往binlog表里一次写入多条重复的数据...
69
1
0
在Flink CDC中binlog 有读取锁的机制吗？
66
0
0
请问一下我Hologres client 监听表binlog，多个shardId 会影响消费顺序吗？
58
1
0
Flink CDC里mysql5.7和mysql8是不是binlog生成机制不一样？
100
1
0
Flink CDC里有人了解mysql binlog生成机制吗 ？
146
1
0
按example下的例子写canal client订阅binlog数据，无法取到数据
121
2
0
canal client拉取binlog，server端报错java.nio.channels.Cl
170
3
0
canal client监听另外一台机器上的canal server无法得到binlog变更记录
165
1
0
canal binlog同步时，数据库服务为什么会挂住，然后出现sending to client的
118
2
0
关于 binlog client重用这部分，如果我不重用的话(红框代码删掉)，除了会对性能造成一些问
319
1
0