开发者社区 问答 正文

在 Flink 中,你们是如何优化 userjar 分发问题的?

在 Flink 中,你们是如何优化 userjar 分发问题的?

展开
收起
夹心789 2024-07-30 16:29:30 37 发布于黑龙江 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 为了优化 userjar 的分发问题,我们在 Flink 层面进行了优化,使得同一个节点上的 TaskManager 只下载一次 userjar,并且该节点上的所有 TaskManager 共享这次下载结果。这样,userjar 的下载次数从 TaskManager 粒度下降到了机器粒度,大幅降低了 JobManager 的分发压力。

    2024-07-30 19:38:24 发布于黑龙江 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等