开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC增量是通过比如pg的wal日志嘛,但是快照他是采用什么方式呢?

Flink CDC增量是通过比如pg的wal日志嘛,但是快照他是采用什么方式呢,不需要顺序的话可以理解为先并发同步快照,再单线程同步增量吗?

展开
收起
真的很搞笑 2023-10-03 09:11:06 65 0
2 条回答
写回答
取消 提交回答
  • Flink CDC(Change Data Capture)通常使用数据库的增量日志来捕获数据更改。例如,对于PostgreSQL数据库,Flink CDC可能会使用WAL(Write Ahead Log)日志来捕获更改。
    对于快照,Flink CDC通常使用一种称为“快照模式”的机制来捕获数据库的当前状态。在这种模式下,Flink CDC会捕获数据库的当前状态,并将其转换为事件流。然后,Flink可以使用这些事件流来重建数据库的当前状态,并从中捕获更改。
    快照模式通常需要在数据库中运行一个特殊的程序或工具,该程序或工具将数据库的状态转换为Flink可以处理的事件流。然后,Flink可以使用这些事件流来捕获数据库的更改,并将其转换为流式处理环境可以处理的事件流。

    2023-10-12 17:11:00
    赞同 展开评论 打赏
  • 是的,增量最后并行度是1,此回答整理自钉群“Flink CDC 社区”

    2023-10-04 08:08:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载