开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc现在有哪个版本可以支持sqlserver的整库同步么?没有主键的表能同步么?

flink cdc现在有哪个版本可以支持sqlserver的整库同步么?没有主键的表能同步么?

展开
收起
小小鹿鹿鹿 2024-01-18 08:11:15 129 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC目前支持SQL Server的整库同步的版本是1.13。对于没有主键的表,Flink CDC也可以进行同步,但需要使用特定的配置和逻辑来处理无主键的情况。

    2024-01-19 14:45:05
    赞同 展开评论 打赏
  • mysql的cdc 2.4版本支持无主键表的同步。此回答来自钉群Flink CDC 社区。

    2024-01-18 10:44:46
    赞同 展开评论 打赏
  • Flink CDC目前支持SQL Server 2016及更高版本,并且需要使用Flink 1.13及以上版本。对于没有主键的表,Flink CDC也可以进行同步,但是需要设置scan.startup.mode参数为latest-offset模式,以便从最新的偏移量开始读取数据。同时,还需要在源表上添加一个自增列作为唯一的标识符,以便在同步过程中进行去重和冲突解决。

    2024-01-18 08:57:14
    赞同 展开评论 打赏
  • 要求表至少有一个可以作为唯一标识符的字段来模拟主键。若SQL Server表没有主键,在Flink CDC中进行同步时会遇到问题,因为增量快照机制需要一个唯一键来确保数据的一致性和去重。

    2024-01-18 08:54:12
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载