开发者社区> 问答> 正文

为什么B站需要优化Flink任务的提交引擎?

为什么B站需要优化Flink任务的提交引擎?

展开
收起
迪哒迪滴喵 2024-08-13 18:59:24 24 0
1 条回答
写回答
取消 提交回答
  • B站需要优化Flink任务的提交引擎主要是为了解决以下四个问题:1)本地编译问题,per-job模式下任务编译消耗提交引擎性能,尤其在短时批量操作时性能不足;2)多版本支持问题,需要维护多个不同代码版本的提交引擎,维护成本高;3)UDF加载问题,大任务启动时web HDFS HTTP端口压力大,存在稳定隐患;4)代码包传输效率低,HDFS反应慢时耗时较长,影响实时任务快速上下线。

    2024-08-13 21:43:05
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载