Flink CDC 中mysql cdc的schema读取阶段是不是单线程串行的？
Flink CDC 中mysql cdc的schema读取阶段是不是单线程串行的？
写回答
-
非常抱歉，之前的回答有误。在 Flink CDC 中，并没有版本可以直接解决新增字段之前数据不同步的问题。
Flink CDC 是基于变更日志（CDC Events）来消费数据的，而在表结构发生变更之前，变更日志中是不包含新增字段的数据的。因此，无论使用哪个版本的 Flink CDC，都无法直接从变更日志中获取新增字段之前的数据。
如果您需要同步新增字段之前的数据，可能需要考虑其他方式，例如手动编写代码来处理历史数据同步或者使用其他工具进行数据迁移。
非常抱歉给您带来了困扰，请忽略之前回答中的错误信息。如有其他问题，请随时提问。
2023-07-30 12:54:47赞同 展开评论 打赏 -
北京阿里云ACE会长Flink CDC 中的 schema 读取阶段默认是单线程串行的。
具体来说,Flink CDC 为每个 MySQL 或 PostgreSQL 数据库分配一个 canal client 实例。
在初始化阶段,每个 canal client 会从数据库中读取表结构(schema)信息,这个过程是单线程串行进行的。
Flink CDC 会做如下操作:
读取数据库中的所有表结构(表名、字段名、字段类型等)
根据表结构创建 Flink TableSchema 对象,作为后续数据的 Schema
创建对应的 Flink DataStream 用于消费数据库变化日志
这个 schema 读取阶段是单线程串行的,也就是说 Flink CDC 一个 canal client 只会一个一个表读取表结构信息。
所以对于有很多表的数据库,这个初始化过程可能需要一定的时间。
但是数据消费阶段(读取变更日志)Flink CDC 是采用多线程并行的,可以并发消费多个表的变更日志。
希望以上信息能为你2023-07-30 10:31:37赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
