FlinkCDC读取Sqlserver获取不到增量变更数据
在CDC配置中startupOptions设置initial可以读取全量数据
但是配置latest获取不到变更数据
写回答
-
MongoDB CDC默认是全量+增量读取。若要设置为只读增量，需将scan.startup.mode设置为latest-offset。如果配置后无法获取变更数据，请检查MongoDB版本是否支持Change Stream（需3.6及以上），以及实例是否为副本集或分片集群。确保变更日志集合oplog.rs的大小足够，以免Resume Token丢失。可参考Flink版 CDC问题 MongoDB CDC支持全量+增量读和只读增量吗？
2024-07-02 11:00:33赞同 展开评论 打赏 -
参考下：
采用Flink CDC操作SQL Server数据库获取增量变更数据
Flink CDC 1.12版本引入了对SQL Server的支持，包括SqlServerCatalog和SqlServerTable。在SqlServerCatalog中，你可以根据表名获取对应的字段和字段类型。SQL Server 2008 开始支持变更数据捕获 (CDC) 功能。CDC 允许你捕获对表中数据更改的数据，这样你就可以查询更改的数据而不需要扫描整个表。
参考文档https://blog.csdn.net/qq_22494169/article/details/137546019
2024-07-02 09:39:08赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
