开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink-on-k8s的application模式怎么保存点重启大佬们有经验的吗 ,任务stop

flink-on-k8s的application模式怎么保存点重启大佬们有经验的吗 ,任务stop后pod都被直接清掉了

展开
收起
互问互答 2023-03-10 13:00:47 943 2
3 条回答
写回答
取消 提交回答
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    在Flink on Kubernetes中,可以使用Savepoints来保存Flink应用程序的状态,以便在重启后可以从上一次的状态继续执行。

    1、在Flink应用程序中添加代码来触发保存点的创建。

    env.enableCheckpointing(checkpointInterval);
    env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
    env.getCheckpointConfig().setCheckpointTimeout(checkpointTimeout);
    env.getCheckpointConfig().setMaxConcurrentCheckpoints(maxConcurrentCheckpoints);
    env.getCheckpointConfig().setMinPauseBetweenCheckpoints(minPauseBetweenCheckpoints);
    env.getCheckpointConfig().setPreferCheckpointForRecovery(preferCheckpointForRecovery);
    env.getCheckpointConfig().setTolerableCheckpointFailureNumber(tolerableCheckpointFailureNumber);
    
    

    2、在Flink on Kubernetes中配置Savepoints

    spec:
      template:
        spec:
          containers:
          - name: taskmanager
            env:
            - name: FLINK_SAVEPOINTS_DIRECTORY
              value: "s3://your-bucket-name/savepoints/"
            - name: FLINK_SAVEPOINT_MODE
              value: "EXTERNALIZED"
    
    

    3、在重启应用程序时,可以使用以下命令来加载Savepoints:

    ./bin/flink run -s s3://your-bucket-name/savepoints/your-savepoint-file-name
    
    
    2023-03-11 16:42:40
    赞同 展开评论 打赏
  • 通过restful或者KubernetesClusterDescriptor去触发savepoint 启动任务的时候SavepointConfigOptions.SAVEPOINT_PATH设置到flinkconf中就行。

    此答案来自钉钉群“【2】Apache Flink China 社区”

    2023-03-10 18:26:31
    赞同 展开评论 打赏
  • GitHub https://github.com/co63oc/cloud

    可以查看如何原生的在 K8s 上运行 Flink https://developer.aliyun.com/article/766710

    2023-03-10 13:39:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像