开发者社区> 问答> 正文
1
0
分享

为什么B站需要优化Flink任务的提交引擎?

为什么B站需要优化Flink任务的提交引擎?

展开
收起
迪哒迪滴喵 2024-08-13 18:59:24 36 0 发布于天津
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
实时计算 Flink 版
5000CU*H 3个月
额度3个月内有效
1 条回答
写回答
取消 提交回答
  • B站需要优化Flink任务的提交引擎主要是为了解决以下四个问题:1)本地编译问题,per-job模式下任务编译消耗提交引擎性能,尤其在短时批量操作时性能不足;2)多版本支持问题,需要维护多个不同代码版本的提交引擎,维护成本高;3)UDF加载问题,大任务启动时web HDFS HTTP端口压力大,存在稳定隐患;4)代码包传输效率低,HDFS反应慢时耗时较长,影响实时任务快速上下线。

    2024-08-13 21:43:05 发布于天津 举报
    赞同 1 评论 打赏

    评论

    全部评论 (0)

    登录后可评论
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载