开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC测试2.4.0版本的sqlserver-cdc,只能全量,增量是要另外配置什么吗?

Flink CDC测试2.4.0版本的sqlserver-cdc,只能全量,增量是要另外配置什么吗?

展开
收起
cuicuicuic 2023-11-16 08:07:44 62 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC的sqlserver-cdc connector在2.4.0版本中,默认情况下只支持全量同步,不支持增量同步。如果你想使用增量同步,需要进行以下配置:
    首先,在connector的properties文件中,将"incremental.snapshot.enable"属性设置为true,表示启用增量快照功能。
    其次,需要在数据库中创建一个名为"_cdc.lsn_time_snapshot"的系统表,并将该表的列类型设置为bigint。这个表用于存储每次增量同步时的LSN值,以便在下次同步时能够从上次结束的位置开始读取数据。
    最后,需要在connector的properties文件中,将"snapshot.fetch.size"属性设置为一个适当的值。这个属性用于控制在进行全量同步时一次读取的数据量大小。如果你的表非常大,可以将这个值设置得更大一些,以加快全量同步的速度。
    完成以上配置后,就可以使用Flink CDC的sqlserver-cdc connector来进行增量同步了。

    2023-11-16 13:21:05
    赞同 展开评论 打赏
  • 使用Flink CDC 2.4.0版本测试sqlserver-cdc时,要获取增量数据,首先需要对SQL Server数据库进行相关配置。确保您的SQL Server版本为14及以上,也就是SQL Server 2017版。具体来说,您需要进行以下配置:

    1. 开启SQL Server的CDC(变更数据捕获)功能。这通常可以在SQL Server的管理界面中找到相关的设置。
    2. 确保启动了SQL Server代理服务,因为CDC功能依赖于此服务。
    3. 对于断点续传的需求,可能需要设置checkpoint的位置。

    完成上述配置后,您可以在Flink中使用flink-connector-sqlserver-cdc连接器来读取增量数据。

    2023-11-16 10:10:30
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载