开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC2.4.1版本SQL server CDC是默认增量快照吗?

Flink CDC2.4.1版本SQL server CDC是默认增量快照吗?

展开
收起
真的很搞笑 2023-11-01 14:51:21 44 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink 2.4.1 版本支持 SQL Server CDC 功能,并且默认使用增量快照的方式同步数据。
    使用 SQL Server CDC 后,每次启动会创建一个新的快照,只包含新的变动,减少了网络传输的数据量。并且,可以通过指定间隔时间或者自定义逻辑进行增量快照。
    如果想要完全刷新快照,可以使用 FullSnapshot 参数。此时,Flink 会在每次启动时创建一次完整的快照,包含了所有表的所有历史数据。
    建议按照具体的业务需求来选择合适的增量方式,权衡实时性和数据量。

    2023-11-02 14:53:14
    赞同 展开评论 打赏
  • Flink CDC 2.4.1版本中,对于SQL Server的CDC(变更数据捕获)处理默认是采用增量快照方式。这种方式是通过Flink内部支持的完整的changelog机制,将CDC数据转换成Flink认识的数据。在早期版本中,增量快照读取算法只在MySQL CDC上支持,为了其他CDC Connector也能够轻松地接入,Flink在2.2版本中推出了增量快照框架。这个框架抽象了一些复用的、可以沉淀的代码,使得面向数据源的读取能力得以提升。因此,无论您正在使用哪种数据库,Flink CDC都可以通过这种方式获取到源数据库的全量数据和增量变更数据,并将其转换为Flink可处理的RowData格式。

    2023-11-02 14:41:58
    赞同 展开评论 打赏
  • 是的,此回答整理自钉群“Flink CDC 社区”

    2023-11-01 21:46:19
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载