为什么 flink checkpoint Checkpoint Duration (Async)？
flink 版本1.8 部署集群yarn
配置代码: StreamExecutionEnvironment.stateBackend(new FsStateBackend("hdfs://nsstreaming/streaming/flink_checkpoint/state").checkpointingInterval(10006010).checkpointTimeout(10006010).timeCharacteristic(TimeCharacteristic.IngestionTime).build(); 业务代码相对比较简单，内存占用较大 超过10分钟后开始报错，state 大概在1.5G时，开始耗时开始变长
*来自志愿者整理的flink邮件归档
写回答
-
一般 Checkpoint 超时，可以先看看你的任务中，是否存在反压，比如 Sink 阶段，又或者是某个地方有 flatMap操作导致。
然后看下自己任务中，是否存在热点问题等。如果一切都是正常的话，可以尝试使用 RocksDB 的增量 Checkpoint ，具体参考[1]。
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/state/state_backends.html#rocksdb-state-backend-details
*来自志愿者整理的flink邮件归档
2021-12-06 21:17:36赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
