Flink CDC2.4.1版本SQL server CDC是默认增量快照吗?
Flink 2.4.1 版本支持 SQL Server CDC 功能,并且默认使用增量快照的方式同步数据。
使用 SQL Server CDC 后,每次启动会创建一个新的快照,只包含新的变动,减少了网络传输的数据量。并且,可以通过指定间隔时间或者自定义逻辑进行增量快照。
如果想要完全刷新快照,可以使用 FullSnapshot 参数。此时,Flink 会在每次启动时创建一次完整的快照,包含了所有表的所有历史数据。
建议按照具体的业务需求来选择合适的增量方式,权衡实时性和数据量。
Flink CDC 2.4.1版本中,对于SQL Server的CDC(变更数据捕获)处理默认是采用增量快照方式。这种方式是通过Flink内部支持的完整的changelog机制,将CDC数据转换成Flink认识的数据。在早期版本中,增量快照读取算法只在MySQL CDC上支持,为了其他CDC Connector也能够轻松地接入,Flink在2.2版本中推出了增量快照框架。这个框架抽象了一些复用的、可以沉淀的代码,使得面向数据源的读取能力得以提升。因此,无论您正在使用哪种数据库,Flink CDC都可以通过这种方式获取到源数据库的全量数据和增量变更数据,并将其转换为Flink可处理的RowData格式。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。