开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中 flink web里手动取消job 直接报错后就没有了 ?

Flink CDC中 flink web里手动取消job 直接报错后就没有了 ?image.png
flink版本是1.7.1

展开
收起
真的很搞笑 2023-11-07 08:05:18 122 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果你在 Flink Web UI 中手动取消 Job 并出现错误,那么有可能是因为该 Job 已经被系统自动清理了。
    通常情况下,Flink 会在完成所有任务并成功将作业状态写入检查点之后才会真正结束一个作业。在这个过程中,如果遇到错误或者其他异常情况,Flink 会尝试进行重试和恢复。但如果错误无法解决或者超过了预设的最大重试次数,Flink 将会主动清理掉相关的作业信息,以便释放系统资源。
    因此,在这种情况下,当你试图在 Flink Web UI 中取消一个已经被清理的作业时,很可能会看到“Job has no running tasks”的提示,这是因为该作业实际上已经不存在了。

    2023-11-07 14:24:08
    赞同 1 展开评论 打赏
  • 在Flink CDC中,如果手动取消job并且直接报错后任务就消失了,这可能是因为任务没有正确停止或者遇到了错误。在这种情况下,你可以尝试使用"Stop"方式来停止任务,需要后面跟的任务id是flink的任务ID。

    关于Flink CDC中的job在取消后是否能从检查点恢复,有几个因素需要考虑:首先,是否开启了检查点;其次,检查点策略是什么;再次,检查点目录是否被删除;最后,检查点目录的磁盘空间是否足够。如果没有配置和开启检查点,或者手动删除了存储检查点的目录,那么将无法从检查点进行恢复。

    2023-11-07 10:03:16
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Web应用系统性能优化 立即下载
    高性能Web架构之缓存体系 立即下载
    PWA:移动Web的现在与未来 立即下载