B站需要优化Flink任务的提交引擎主要是为了解决以下四个问题:1)本地编译问题,per-job模式下任务编译消耗提交引擎性能,尤其在短时批量操作时性能不足;2)多版本支持问题,需要维护多个不同代码版本的提交引擎,维护成本高;3)UDF加载问题,大任务启动时web HDFS HTTP端口压力大,存在稳定隐患;4)代码包传输效率低,HDFS反应慢时耗时较长,影响实时任务快速上下线。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。