开发者社区> 问答> 正文

flink内存超用问题

请教下,我有个flink任务经常因为内存超用被yarn 集群kill,不知道该怎么排查问题,flink版本1.11.0,启动命令为:

bin/flink run -m yarn-cluster -yjm 2048m -ytm 8192m -ys 2 xxx.jar,使用rocksdb状态后端,设置的参数有taskmanager.memory.managed.fraction=0.6;taskmanager.memory.jvm-overhead.fraction=0.2。下面是某个时刻flink页面的taskmanage统计。请问内存超用可能是来自什么地方呢,感觉程序中并没用用到第三方jar使用大量native,自己程序里也没有用native内存的地方

Free Slots / All Slots:0 / 2

CPU Cores:24

Physical Memory:251 GB

JVM Heap Size:1.82 GB

Flink Managed Memory:4.05 GB

Memory

JVM (Heap/Non-Heap)

Type

Committed

Used

Maximum

Heap1.81 GB1.13 GB1.81 GB

Non-Heap169 MB160 MB1.48 GB

Total1.98 GB1.29 GB3.30 GB

Outside JVM

Type

Count

Used

Capacity

Direct24,493718 MB718 MB

Mapped00 B0 B

Network

Memory Segments

Type

Count

Available21,715

Total22,118

Garbage Collection

Collector

Count

Time

PS_Scavenge19917,433

PS_MarkSweep44,173*来自志愿者整理的flink邮件归档

展开
收起
小阿怪 2021-12-07 10:52:22 876 0
1 条回答
写回答
取消 提交回答
  • 可以设置下参数 'state.backend.rocksdb.memory.fixed-per-slot' [1] 看下有没有效果。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/config.html#state-backend-rocksdb-memory-fixed-per-slot*来自志愿者整理的flink邮件归档

    2021-12-07 11:29:23
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink峰会 - 李佳林 立即下载
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载