开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 中有没有遇到苹果电脑程序停了,solt 状态还是激活的,我window 电脑停?

Flink CDC 中有没有遇到苹果电脑程序停了,solt 状态还是激活的,我window 电脑停程序了过一会solt 状态就变成了没有激活了?image.png

展开
收起
cuicuicuic 2023-07-02 12:01:53 39 0
2 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,如果任务在运行过程中停止(例如断电、Mac电脑突然关闭),插槽(Slot)状态仍然可以保持活动。具体来说:

    1. Flink CDC 在运行时会定期生成检查点(Checkpoints),保存当前的状态(包括插槽状态)。 2. 一旦任务停止,根据配置的检查点策略,Flink 将保留最近的一个或多个检查点文件。 3. 检查点通过 Flink 配置的状态后端(State Backend,如文件系统或Kafka)进行持久化。 4. 即使 Mac 电脑断电,只要检查点文件和状态后端的数据能够正常保存,插槽状态是可以被保留下来的。 5. 当重新启动 Flink CDC 任务时,会根据配置选择恢复最新的检查点或指定的检查点 ID 来进行状态恢复。

    因此,总的来说:

    - 在 Mac 电脑停止或程序意外中断时,并不会立即清理插槽状态。 - 但这取决于检查点和状态后端是否能够正常工作。 - 只要检查点文件和状态后端的数据可用,插槽状态是可以被恢复的。

    为了确保插槽状态能够正确存活:

    1. 开启检查点功能,并根据需求配置合适的检查点策略。 2. 配置合适的状态后端,将状态数据持久化到可靠的存储系统中。

    这样,在任务重新启动时,就可以通过恢复最新的检查点或指定的检查点 ID 来成功恢复插槽状态。

    2023-07-30 12:59:13
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    如果 Flink CDC 任务在运行过程中停止(如断电、Mac断电),状态是可以存活下来的。
    具体来说:
    Flink CDC 在运行时会定期产生检查点(Checkpoints),保存当前状态(Slot状态)。
    一旦任务停止,根据检查点策略,Flink 会保留最近的一个或多个检查点文件。
    检查点使用 Flink 配置的状态后端(State backend ,如 FileSystem 或 Kafka)进行持久化。
    即使 Mac 断电,只要检查点文件和状态后端的数据能保存,Slot状态是可以存活下来的。
    重新启动 Flink CDC 任务时,会按照配置(restore latest 或 restore from specific id)进行状态恢复。
    所以总的来说:
    Mac / 程序停止,不会立即清理 Slot 状态
    但依赖于检查点和状态后端能否正常工作
    一旦检查点状态能正常获取,Slot状态是可以被恢复的
    要确保 Slot 状态能够存活:
    开启检查点,配置状态后端
    使用合适的检查点

    2023-07-30 10:54:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载