开发者社区> 问答> 正文

Task Container 被Kill, Managed memory使用情况查看有问题?

各位社区的伙伴大家好

目前我们在使用Flink SQL 开发任务过程中遇到一个问题,有比较大状态的任务在运行一段时间后Task Container会由于使用申请内存过多被Yarn集群Kill掉。

针对这个问题我们任务可能是在Checkpoint时候状态过大引起的,因此我们调整了State ttl,也是增量Checkpoint,之后还是会出现类似情况,我们只能通过增加并发和内存来保证任务运行,但是这回造成了很大的资源浪费,因为平时查看任务的堆内存使用并不多,所以我们在考虑是不是Managed memory不足导致的,因为Managed memory 负责RocksDB, 我们想确定一下是不是Managed memory不足导致的任务异常。

但是现在通过Flink Web UI界面查看不到Managed memory的使用情况,所以请教一下社区小伙伴有没有好的方式查看Managed memory的使用情况,或者有没有遇到类Tm container 被kill的情况有没有好的解决方法,感谢大家,希望一起交流*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-02 14:09:35 1053 0
1 条回答
写回答
取消 提交回答
  • 可以把 rocksdb statebackend 相关监控指标开启,然后结合指标看看。

    具体参考:

    https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/config.html#rocksdb-native-metrics

    .*来自志愿者整理的FLINK邮件归档

    2021-12-02 14:30:26
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Azure Container Services --The best place to run your workload 立即下载
Run containerd as Container Runtime in production 立即下载
Sparklint a Tool for Identifying and Tuning Inefficient Spark Jobs Across Your Cluster 立即下载