开发者社区 问答 正文

在 Flink 中,如何拆分作业以更好地利用细粒度资源管理?

在 Flink 中,如何拆分作业以更好地利用细粒度资源管理?

展开
收起
不吃核桃 2024-07-29 11:27:59 53 发布于山西 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 在 Flink 中,为了更好地利用细粒度资源管理,可以将整个作业拆分成多个 SlotSharingGroup (SSG)。每个 SSG 内部的并发和资源需求应该尽量对齐,以减少资源浪费。例如,在上面的复杂作业中,可以将算子按照并发划分成多个 SSG,每个 SSG 内部的并发和资源需求都是一致的,从而可以更好地利用细粒度资源管理来优化资源分配。

    2024-07-29 12:36:49 举报
    赞同 1

    评论

    全部评论 (1)

    登录后可评论
    头像
    请问您,细粒度资源管理中的单个slot的0.25CU怎么切分呢,不同slot不是共享cpu资源吗,线程粒度可以限制么。
    2024-10-24 15:06:57
    赞同回复举报