对于Flink CDC,,有在使用cdc抽取tidb大表数据的吗?我这里遇到问题,表中最后一部分字段获取到的值全部是null。通过sql直接查col_xx is not null 也没有数据。请教下有没有人遇到类似情况
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
对于使用 Flink CDC 抽取 TiDB 大表数据时遇到最后一部分字段获取到的值全部为 NULL 的问题,可能有以下原因:
主键顺序不一致:CDC 连接器获取数据时,会根据主键顺序进行排序。如果您的表中有复合主键,请确保 CDC 连接器中的主键顺序与 TiDB 中的顺序一致。
数据类型不匹配:请检查您的 Flink CDC 配置中定义的数据类型是否与 TiDB 表中字段的数据类型匹配。数据类型不匹配会导致 NULL 值。
表结构变化:如果在 CDC 连接器运行期间表结构发生了变化,则可能会导致数据错位或丢失。请确保在 CDC 连接器运行时表结构保持稳定。
并发写入:在 CDC 连接器运行期间,如果表中有并发写入操作,则可能会导致数据不一致。建议在 CDC 连接器运行时暂停对表的写入操作。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。