开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我看到最新的flink cdc, postgresql 依然不支持 这个模式,请问是底层不太好实现?

我看到最新的flink cdc, postgresql 依然不支持 StartupOptions.specificOffset 这个模式,请问是底层不太好实现嘛,还是有其他有问题?有没有位大佬自己实现该功能的

展开
收起
真的很搞笑 2023-11-22 09:31:42 30 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 Flink CDC 项目中,目前尚未完全支持 PostgreSQL 的 StartupOptions.specificOffset 模式。
    这是因为 PostgreSQL 并未提供一种简单的方式来指定恢复点或偏移量,而且它的 binlog 日志中也没有偏移量的概念。
    目前,Flink CDC 支持的 PostgreSQL 数据库同步模式包括 SnapshotAndStreamingContinuousStreaming 两种模式。
    SnapshotAndStreaming 模式下,Flink CDC 首先执行一次全量同步,然后开始增量同步;在 ContinuousStreaming 模式下,Flink CDC 仅执行增量同步。
    如果需要使用 StartupOptions.specificOffset 模式,您可以考虑在完成一次全量同步后,将当前 binlog 文件名和偏移量保存下来,然后在下一次启动时使用这两个值作为初始位置。当然,这需要一些额外的工作,并且可能有一些潜在的问题,例如 binlog 文件大小可能超过限制等。

    2023-11-29 13:35:34
    赞同 展开评论 打赏
  • Apache Flink Change Data Capture (FlinkCDC) 对于 PostgreSQL 的支持还在开发中,目前还并不完整。StartupOptions.specificOffset 这个模式在当前的 FlinkCDC 中并未被支持。

    至于为什么这个模式没有被支持,可能是因为在实现这个模式时需要解决一些技术难题,比如如何准确地定位到特定的数据位置,如何处理数据的一致性问题等。这些问题可能需要对 PostgreSQL 的内部机制有深入的理解才能解决。

    2023-11-29 12:01:13
    赞同 展开评论 打赏
  • FLINK CDC 对 PostgreSQL 数据源没有内置的 startup mode 支持。可以使用 Kafka Connect 和 Debezium PostgreSQL Connector 来模拟这一功能。在 Flink CDC 应用中引入 Kafka Connect 和 Debezium Connector,并使用自定义脚本来管理 offsets 和事务,从而实现类似于 startup mode 的功能。

    2023-11-22 17:00:42
    赞同 展开评论 打赏
  • 应该是Debezium不支持吧,得看dbz支不支持,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 12:08:51
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像