flin的checkpoint文件持续增加,如何解决?

有个问题,我用docker部署的,就是我用FsStateBackend(地址是本地) 设置state.checkpoints.num-retained: 10,在jobmanager上看检查点一直都是10个 但是在taskmanager上看地址,就发现检查点的文件夹持续增加。这正常吗? 正常不应该只有jobmanage有文件吗,taskmanger不应该有检查点的文件

展开
收起
游客jxpuxc3cxukgg 2021-01-06 16:45:07 918 分享 版权
1 条回答
写回答
取消 提交回答
  • 找到问题了,查看了taskManager的check-n文件,发现是org.apache.flink.api.common.typeutils.base.StringSerializer$StringSerializerSnapshot,应该是序列化问题, 发现循环的Bean属性太多,所以吧Bean的属性减少些没有用的,发现taskmanager没有新的文件生成

    2021-01-06 21:01:38
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理