开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink的checkpoint提交超时问题

任务一开始正常,跑一两天后就会checkpoint超时,收不到Latest Acknowledgement,然后用同样的包重启又可以正常跑几天如此反复,一直找不到原因。
设置项如下:

    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    //设置失败后一直重启
    env.setRestartStrategy(RestartStrategies.failureRateRestart(3, Time.milliseconds(1000), Time.minutes(5)));
    env.disableOperatorChaining(); 
    env.enableCheckpointing(1000 * 60 * 15, CheckpointingMode.AT_LEAST_ONCE);
    env.getCheckpointConfig().setFailOnCheckpointingErrors(true);
    //业务比较复杂设置超时时间1个小时。
    env.getCheckpointConfig().setCheckpointTimeout(1000 * 60 * 60);
    env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000  * 10);
    env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION);

展开
收起
神奇小伟 2019-01-26 10:31:22 4694 0
3 条回答
写回答
取消 提交回答
  • 哈喽,请问这个问题解决了吗?

    2020-04-23 20:29:02
    赞同 展开评论 打赏
  • 可以使用rocksdb,做增量的checkpoint,否则其他的state backend是做全量的,导致每次checkpoint时,数据量会逐步增加,也就变得超时了

    2019-07-17 23:26:59
    赞同 展开评论 打赏
  • 路过

    2019-07-17 23:26:59
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载