开发者社区> 问答> 正文

在 Flink 中,你们是如何优化 userjar 分发问题的?

在 Flink 中,你们是如何优化 userjar 分发问题的?

展开
收起
夹心789 2024-07-30 16:29:30 21 0
1 条回答
写回答
取消 提交回答
  • 为了优化 userjar 的分发问题,我们在 Flink 层面进行了优化,使得同一个节点上的 TaskManager 只下载一次 userjar,并且该节点上的所有 TaskManager 共享这次下载结果。这样,userjar 的下载次数从 TaskManager 粒度下降到了机器粒度,大幅降低了 JobManager 的分发压力。

    2024-07-30 19:38:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载