Flink CDC2.4.1版本SQL server CDC是默认增量快照吗？
Flink CDC2.4.1版本SQL server CDC是默认增量快照吗？
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。Flink 2.4.1 版本支持 SQL Server CDC 功能，并且默认使用增量快照的方式同步数据。
使用 SQL Server CDC 后，每次启动会创建一个新的快照，只包含新的变动，减少了网络传输的数据量。并且，可以通过指定间隔时间或者自定义逻辑进行增量快照。
如果想要完全刷新快照，可以使用 FullSnapshot 参数。此时，Flink 会在每次启动时创建一次完整的快照，包含了所有表的所有历史数据。
建议按照具体的业务需求来选择合适的增量方式，权衡实时性和数据量。2023-11-02 14:53:14赞同 展开评论 打赏 -
Flink CDC 2.4.1版本中，对于SQL Server的CDC（变更数据捕获）处理默认是采用增量快照方式。这种方式是通过Flink内部支持的完整的changelog机制，将CDC数据转换成Flink认识的数据。在早期版本中，增量快照读取算法只在MySQL CDC上支持，为了其他CDC Connector也能够轻松地接入，Flink在2.2版本中推出了增量快照框架。这个框架抽象了一些复用的、可以沉淀的代码，使得面向数据源的读取能力得以提升。因此，无论您正在使用哪种数据库，Flink CDC都可以通过这种方式获取到源数据库的全量数据和增量变更数据，并将其转换为Flink可处理的RowData格式。
2023-11-02 14:41:58赞同 展开评论 打赏 -
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
