开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flin的checkpoint文件持续增加,如何解决?

有个问题,我用docker部署的,就是我用FsStateBackend(地址是本地) 设置state.checkpoints.num-retained: 10,在jobmanager上看检查点一直都是10个 但是在taskmanager上看地址,就发现检查点的文件夹持续增加。这正常吗? 正常不应该只有jobmanage有文件吗,taskmanger不应该有检查点的文件

展开
收起
游客jxpuxc3cxukgg 2021-01-06 16:45:07 854 0
1 条回答
写回答
取消 提交回答
  • 找到问题了,查看了taskManager的check-n文件,发现是org.apache.flink.api.common.typeutils.base.StringSerializer$StringSerializerSnapshot,应该是序列化问题, 发现循环的Bean属性太多,所以吧Bean的属性减少些没有用的,发现taskmanager没有新的文件生成

    2021-01-06 21:01:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
俞航翔|基于Log的通用增量Checkpoint 立即下载
如何实现应用的持续发布 立即下载
重新出发:阿里云数据库开源整体策略 立即下载