开发者社区> 问答> 正文

Flink作业所需要的CPU及内存的计算方法

已解决

Flink作业所需要的CPU及内存的计算方法

展开
收起
提个问题 2024-06-13 10:03:01 8 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    • Flink全托管的基本计量单位为Compute Unit(CU),即计算资源,1 CU=1核CPU+4 GiB内存。
    • 简单业务场景下(例如单流过滤、字符串变换等操作)1 CU每秒可以处理30000~40000条数据。
    • 复杂的流式压测处理场景下(例如复杂UDF计算、聚合操作等), 1 CU每秒可以处理5000~10000条数据。
    • 资源模式为基础模式,相关配置如下: JobManager CPU Cores:0.25 Core JobManager Memory:1 GiB TaskManager CPU Cores:1 Core TaskManager Memory:4 GiB 并发度:1 
    • 资源模式为专家模式下,针对单个Slot配置内存,内存配置项为Task Heap内存以及Task Off-Heap内存,专家模式下,系统会根据作业的计算逻辑按需自动生成Statebackend、Python和Operator所需的内存,无需您手动进行配置。
    请根据业务情况,通过性能测试,逐步确定最终业务需要的CU数量 单个JM最小需要配置0.5 core和1Gi才可以保证作业稳定运行,单个TM最小需要配置0.25 core和1Gi才可以保证作业稳定运行。
    2024-06-13 10:03:03
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载