Flink CDC checkpoint要是开启的话 是不是必须自己搞一个能够存储持久化数据的中间件

Flink CDC这个checkpoint要是开启的话 是不是必须自己搞一个能够存储持久化数据的中间件? 图片.png

展开
收起
wenti 2023-02-06 16:17:24 535 发布于云南 分享
分享
版权
举报
3 条回答
写回答
取消 提交回答
  • Flink CDC开启checkpoint是否需要持久化数据中间件?

    • 需要。

    原因:

    • Flink CDC的checkpoint机制需要将数据写入到持久化存储中,以便在发生故障时能够恢复数据。
    • 如果不使用持久化数据中间件,则Flink CDC的checkpoint数据将存储在内存中,这可能会导致数据丢失。

    持久化数据中间件的选择:

    • Flink CDC支持多种持久化数据中间件,包括:

      • Apache Kafka
      • Apache HDFS
      • Amazon S3
      • Google Cloud Storage
      • Azure Blob Storage
    • 用户可以根据自己的需要选择合适的持久化数据中间件。

    持久化数据中间件的配置:

    • Flink CDC的持久化数据中间件需要进行相应的配置,以便能够与Flink CDC配合使用。
    • 具体配置方法请参考Flink CDC的官方文档。
    2024-02-27 18:27:45 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • hdfs就可以啊,消息中间件也可以——该回答整理自钉群“Flink CDC 社区”

    2023-02-06 20:46:52 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 是的,阿里云Flink CDC checkpoint需要一个可以持久化数据的中间件,比如MySQL、HBase、Kafka等

    2023-02-06 19:15:17 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

为企业提供高效、稳定、易扩展的中间件产品。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等