这个是flink版本bug嘛?

flink1.15.2 使用flinksql的时候 开启了checkpoint,每个分区都有数据,流重新发布会报某个partition的offset没有找到,这个是版本bug嘛?lALPJwKt5ExygA_NA8DNBP8_1279_960.png
lALPJwKt5ExygA_NA8DNBP8_1279_960.png

展开
收起
三分钟热度的鱼 2023-08-22 20:55:50 94 分享 版权
1 条回答
写回答
取消 提交回答
  • 如果每个分区都有数据,流重新发布会报某个partition的offset没有找到,那很可能是checkpoint失败导致的。

    Flink 的 checkpoint 是通过定期保存元数据的方式来实现数据一致性的。当流重新发布时,Flink 会尝试使用之前的 checkpoint 来恢复状态。如果 checkpoint 失败了,那么 Flink 就无法恢复状态,就会报错。

    2023-09-18 16:34:00
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理