请问flinkcdc中tidb cdc有计划支持分区表吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
目前 TiCDC 支持 TiDB 分区表,但是 Flink CDC 目前还没有完全支持 TiDB 分区表。具体来说,Flink CDC 目前支持 TiDB 分区表的增量数据同步,但是不支持分区表的快照数据同步。
如果您需要在 TiDB 分区表上进行快照数据同步,可以考虑使用 TiCDC 进行数据同步。TiCDC 支持 TiDB 分区表的快照和增量数据同步,并且可以通过 TiCDC 的配置文件对数据进行灵活的过滤和转换。
如果您需要在 Flink CDC 中使用 TiDB 分区表进行数据同步,可以参考以下建议:
确认 TiDB 分区表的数据同步需求
在使用 Flink CDC 进行 TiDB 分区表的数据同步之前,需要确认具体的数据同步需求。例如,需要同步哪些分区表的数据?需要同步哪些列的数据?需要使用什么样的过滤条件?
使用 Flink CDC 进行增量数据同步
可以使用 Flink CDC 进行 TiDB 分区表的增量数据同步。在 Flink CDC 中,可以使用 TiCDC 的 MySQL 协议进行数据同步。需要注意的是,TiCDC 的 MySQL 协议在处理 TiDB 分区表时,需要指定正确的分区信息。
考虑使用 Flink 的分区功能
在使用 Flink CDC 进行 TiDB 分区表的数据同步时,可以考虑使用 Flink 的分区功能。通过将数据分成多个分区,可以提高数据同步的并发度,从而加快数据同步的速
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。