开发者社区> 问答> 正文

BucketingSink 内存使用分析

请教各位老师,flink on yarn,1个TaskManager,4个slot,TaskManager内存4G,JobManager内存1G。使用BucketingSink写入hdfs,3秒checkpoint一次。每秒大概数据100条,3秒也就是300左右。输入数据,大概427个字节,427字节300=128100字节=125KB;输出数据,大概80字节,80字节300=24000字节=23KB。但是Flink 的 TaskManager的 jvm 不知道为啥占用了这么多,高的时候有1G。 JVM (Heap/Non-Heap) Type Committed Used Maximum Heap 2.68 GB 863 MB 2.68 GB Non-Heap 84.3 MB 82.8 MB -1 B Total 2.76 GB 946 MB 2.68 GB

按理说,3s chepoint 一次,会写入一次hdfs。也就是说,只有3s的数据才会缓存在内存。还有什么数据也在内存嘛? *来自志愿者整理的flink邮件归档

展开
收起
小阿怪 2021-12-07 22:28:21 551 0
1 条回答
写回答
取消 提交回答
  • 把 heap dump 出来分析一下?*来自志愿者整理的flink邮件归档

    2021-12-08 10:55:41
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载
用户态高速块缓存方案 立即下载