开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC使用datax或者其他全量工具同步到kafka; 是这个意思吧?

Flink CDC使用datax或者其他全量工具同步到kafka;
第二步等kafka消费端完成了消费;
第三步消费完后启动flink cdc增量方式,把同步全量开始的时间转换时间戳作为flink增量的时间戳开始同步更新;
全量(datax)和增量(flink cdc)结合,是这个意思吧?

展开
收起
真的很搞笑 2023-12-19 08:07:20 122 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    你的理解基本正确。在Flink CDC中,新加的表需要先进行全量同步,将全部数据同步到目标数据源(如Kafka),这是因为增量同步需要先建立Offset(或者Checkpoint)来记录同步进度,而新添加的表在Offset中并没有记录。全量同步完成后,CDC作业会进入增量同步阶段,继续对新表进行增量同步。在增量同步过程中,CDC作业会监听源数据库中指定表的变化,捕获变化的数据并写入到目标数据源中。

    此外,Flink CDC通过直接读取数据库日志捕获数据变更,保障了数据的实时性和一致性。并且,Flink CDC支持全量和增量两种读取方式。

    2023-12-19 20:33:23
    赞同 展开评论 打赏
  • flink-cdc是全增量一体的,本身增量快照算法拉历史数据也是无锁的,配合flink的检查点机制,就是为了保证数据一条不多,一条不少。 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-19 16:20:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载