开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC正常执行的时候一直提示这个告警。是因为来源表没有主键的问题吗?

Flink CDC正常执行的时候一直提示这个告警。是因为来源表没有主键的问题吗?The state is cleared because of state ttl. This will result in incorrect result. You can increase the state ttl to avoid this?

展开
收起
真的很搞笑 2023-09-19 20:43:10 200 0
1 条回答
写回答
取消 提交回答
  • 是的,Flink CDC在提示 "The state is cleared because of state ttl. This will result in incorrect result. You can increase the state ttl to avoid this" 时,通常是由于状态的存活时间(state ttl)过短导致的。这可能会导致状态被清除,从而影响查询的正确性。

    在Flink CDC中,状态用于跟踪和处理事件流数据。如果状态的存活时间设置得太短,Flink可能会在状态过期后清除它。这可能会导致查询结果不正确。

    解决这个问题的方法是增加状态的存活时间(state ttl)。您可以通过以下方式来设置状态的存活时间:

    在Flink的作业配置中设置状态的存活时间。
    ```StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setStateBackend(new FsStateBackend("file:///tmp/checkpoints"));
    env.enableCheckpointing(10000);
    env.getCheckpointConfig().setTolerableCheckpointFailureNumber(3);
    env.getCheckpointConfig().setStateBackend(new FsStateBackend("file:///tmp/checkpoints"));
    env.getCheckpointConfig().setCheckpointStorage("file:///tmp/savepoints");
    env.getCheckpointConfig().setCheckpointInterval(10000);
    env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500);
    env.getCheckpointConfig().setMaxConcurrentCheckpoints(1);
    env.getCheckpointConfig().setPreferCheckpointForRecovery(true);
    env.getCheckpointConfig().setCheckpointTimeout(60000);
    env.getCheckpointConfig().setFailOnCheckpointingErrors(false);
    env.getCheckpointConfig().setStateBackend(new RocksDBStateBackend("file:///tmp/rocksdb"));
    env.getCheckpointConfig().setTtl(3600000); // 设置状态的存活时间为1小时

    
    在Flink的SQL查询中设置状态的存活时间。
    ```SET table.exec.state.ttl = '1h';
    

    通过设置适当的状态存活时间,您可以避免由于状态过期而导致的查询结果不正确的问题。请根据您的具体需求和作业配置来调整状态的存活时间。

    2023-09-27 14:02:05
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载