Flink CDC测试2.4.0版本的sqlserver-cdc,只能全量,增量是要另外配置什么吗?
Flink CDC的sqlserver-cdc connector在2.4.0版本中,默认情况下只支持全量同步,不支持增量同步。如果你想使用增量同步,需要进行以下配置:
首先,在connector的properties文件中,将"incremental.snapshot.enable"属性设置为true,表示启用增量快照功能。
其次,需要在数据库中创建一个名为"_cdc.lsn_time_snapshot"的系统表,并将该表的列类型设置为bigint。这个表用于存储每次增量同步时的LSN值,以便在下次同步时能够从上次结束的位置开始读取数据。
最后,需要在connector的properties文件中,将"snapshot.fetch.size"属性设置为一个适当的值。这个属性用于控制在进行全量同步时一次读取的数据量大小。如果你的表非常大,可以将这个值设置得更大一些,以加快全量同步的速度。
完成以上配置后,就可以使用Flink CDC的sqlserver-cdc connector来进行增量同步了。
使用Flink CDC 2.4.0版本测试sqlserver-cdc时,要获取增量数据,首先需要对SQL Server数据库进行相关配置。确保您的SQL Server版本为14及以上,也就是SQL Server 2017版。具体来说,您需要进行以下配置:
完成上述配置后,您可以在Flink中使用flink-connector-sqlserver-cdc
连接器来读取增量数据。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。