Flink CDC中SqlServer 同步 至 doris,全量期间数据不会实际插入doris吗?
在 Flink CDC 中,SqlServer 同步至 Doris 的过程中,只有增量变化才会被插入 Doris 中。全量阶段主要是为了获取 SqlServer 的元信息,并不实际插入数据。这也是 Flink CDC 与其他工具的不同之处,它可以减少传输过程中的开销。
如果您想要同步全量数据,可以考虑在完成元信息获取后使用 Doris 自带的导入工具,或者使用外部脚本进行导入。
在Flink CDC同步SqlServer至Doris的过程中,无论是全量数据还是增量数据,都会实时捕获并处理。具体来说,当使用Flink CDC进行SqlServer的实时同步时,它依赖于Flink内部支持的完整的changelog机制,将CDC数据转换成Flink认识的数据。
在全量同步阶段,Flink CDC会读取源数据库中从开始到当前时间的所有变更记录,包括插入、更新前、更新后和删除等操作。这些变更记录会被转换成RowData数据结构,然后以流的形式传输到下一个处理环节。
在增量同步阶段,Flink CDC会持续监控源数据库的变化,只有当检测到变化时才会生成新的数据流。这种方式可以大大减少数据传输量,提高处理效率。
因此,无论是全量期间还是增量期间,数据都会被实际捕获并处理,最终插入到目标数据库Doris中。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。