对于Flink CDC,,有在使用cdc抽取tidb大表数据的吗?

对于Flink CDC,,有在使用cdc抽取tidb大表数据的吗?我这里遇到问题,表中最后一部分字段获取到的值全部是null。通过sql直接查col_xx is not null 也没有数据。请教下有没有人遇到类似情况

展开
收起
wenti 2023-01-29 18:05:30 256 分享 版权
1 条回答
写回答
取消 提交回答
  • 对于使用 Flink CDC 抽取 TiDB 大表数据时遇到最后一部分字段获取到的值全部为 NULL 的问题,可能有以下原因:

    主键顺序不一致:CDC 连接器获取数据时,会根据主键顺序进行排序。如果您的表中有复合主键,请确保 CDC 连接器中的主键顺序与 TiDB 中的顺序一致。
    数据类型不匹配:请检查您的 Flink CDC 配置中定义的数据类型是否与 TiDB 表中字段的数据类型匹配。数据类型不匹配会导致 NULL 值。
    表结构变化:如果在 CDC 连接器运行期间表结构发生了变化,则可能会导致数据错位或丢失。请确保在 CDC 连接器运行时表结构保持稳定。
    并发写入:在 CDC 连接器运行期间,如果表中有并发写入操作,则可能会导致数据不一致。建议在 CDC 连接器运行时暂停对表的写入操作。

    2024-02-23 15:10:30
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理