开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC调用stop的api接口,新启动的任务可以成功,这是为啥?

Flink CDC调用stop的api接口,新启动的任务可以成功,但是从savepoit启动的任务,总是stop失败,会restarting。这是为啥,我用的是flink1.17.1?image.png

展开
收起
真的很搞笑 2023-12-05 20:45:19 47 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC的任务在调用stop的api接口后无法正常停止,可能的原因包括任务的状态未能正确更新或者某些资源未能成功释放。你提到新启动的任务可以正常停止,这表明API本身并无问题,问题可能出在从savepoint恢复的任务上。

    对于这种情况,首先需要确认的是,你的Flink作业是否使用了正确的保存点(savepoint)。因为如果使用了一个与正在运行的任务状态不匹配的保存点进行恢复,可能会导致任务无法正常启动或停止。此外,也需要检查Flink作业的资源是否正确释放,例如内存、CPU等资源。

    2023-12-06 14:27:50
    赞同 展开评论 打赏
  • 这个问题可能是由于Flink CDC连接器在savepoint恢复时,无法正确处理CDC源的状态导致的。你可以尝试以下方法解决这个问题:

    1. 确保你的Flink版本是最新的。目前最新版本是1.13.2,建议升级到最新版本。

    2. 尝试使用--allow-no-checkpoints参数启动任务,这样可以避免因为checkpoint失败而导致的任务重启。但是这种方法可能会导致数据丢失,请谨慎使用。

    3. 如果问题仍然存在,可以考虑使用其他CDC连接器,如Debezium或Canal,它们可能对savepoint恢复有更好的支持。

    2023-12-06 09:01:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载