AI 助理
备案控制台
开发者社区 问答 正文

flink cdc 读取mysql binlog的顺序是严格的吗？我这读过来写到kafka 的时候顺

flink cdc 读取mysql binlog的顺序是严格的吗？我这读过来写到kafka 的时候顺序有点变化

展开
收起
真的很搞笑 2023-04-19 14:15:45 255 分享 版权
来自： 阿里云实时计算Flink

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • AI研究者手札
    资深技术专家。主攻技术开发，擅长分享、写文、测评。

    在Flink CDC中，通常情况下CDC会按照写入 Binlog 的顺序读取数据。但是需要注意两个点：

    在 TiCDC 中，Binlog 实现可能在特定场景下改变事件的排序。例如，在执行 DDL 语句和处理偶发冲突时，TiCDC 的工作方式可能不严格符合写入 Binlog 的顺序。但是这样做是出于保证 TiCDC 数据捕获更可靠的考虑。

    Flink 自身的异步子任务提取逻辑也可能会影响到 CDC 程序中所读取的顺序。例如使用异步 i/o 或者配置并行度等因素都可能对读取顺序造成影响，劣化读取性能或者使得读取顺序改变。

    2023-04-22 19:47:14
    赞同 展开评论
问答分类：
消息中间件 关系型数据库 MySQL Kafka 流计算 云数据库 RDS MySQL 版 云消息队列 Kafka 版 实时计算 Flink版
问答标签：
实时计算 Flink版CDC 云数据库 RDS MySQL 版binlog mysql binlog 实时计算 Flink版kafka 实时计算 Flink版cdc kafka
问答地址：
开发者社区 > 阿里云实时计算Flink > 问答
相关问答
数据传输服务DTS的是否可以用flink消费datahub中的数据写到adb中
104
1
0
在Flink CDC中读取MySQL中的binlog的时候，执行server-id 只能是一个数字？
107
1
0
Flink的hologres的维度表也需要开启binlog吗？
109
1
0
请问 flink-cdc拉 polardb的binlog 可以走备库吗？
111
1
0
对于Flink CDC提示不能提交offset，但是能把数据成功写到数据库，怎么让他写入失败？
72
0
0
实时计算Flink报错binlog probably contains events gene...
72
1
0
在Flink CDC中对数据的修改变更会以新的记录形式写到目标表,为什么不是在目标表中修改数据呢?
63
1
0
在Flink CDC中就找不到最新的binlog 文件了，日志也不显示.。所以现在不知道最新是哪个？
72
1
0
Flink CDC读取的MySQL的Update的Binlog数据是所有字段的信息吗
92
1
0
有大佬知道这是怎么回事么 flink读不到kafka数据
1207
1
0