开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中SqlServer 同步 至 doris,全量期间数据不会实际插入doris吗?

Flink CDC中SqlServer 同步 至 doris,全量期间数据不会实际插入doris吗?

展开
收起
cuicuicuic 2023-11-01 14:51:22 99 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 Flink CDC 中,SqlServer 同步至 Doris 的过程中,只有增量变化才会被插入 Doris 中。全量阶段主要是为了获取 SqlServer 的元信息,并不实际插入数据。这也是 Flink CDC 与其他工具的不同之处,它可以减少传输过程中的开销。
    如果您想要同步全量数据,可以考虑在完成元信息获取后使用 Doris 自带的导入工具,或者使用外部脚本进行导入。

    2023-11-02 14:53:13
    赞同 展开评论 打赏
  • 在Flink CDC同步SqlServer至Doris的过程中,无论是全量数据还是增量数据,都会实时捕获并处理。具体来说,当使用Flink CDC进行SqlServer的实时同步时,它依赖于Flink内部支持的完整的changelog机制,将CDC数据转换成Flink认识的数据。

    在全量同步阶段,Flink CDC会读取源数据库中从开始到当前时间的所有变更记录,包括插入、更新前、更新后和删除等操作。这些变更记录会被转换成RowData数据结构,然后以流的形式传输到下一个处理环节。

    在增量同步阶段,Flink CDC会持续监控源数据库的变化,只有当检测到变化时才会生成新的数据流。这种方式可以大大减少数据传输量,提高处理效率。

    因此,无论是全量期间还是增量期间,数据都会被实际捕获并处理,最终插入到目标数据库Doris中。

    2023-11-02 14:39:29
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载