BIGO大数据平台是如何通过Bigoflow来管理实时任务的?
"BIGO大数据平台通过Bigoflow来管理实时任务,主要包括:
统一的实时任务接入入口,简化任务部署流程。
管理实时任务的元数据,如任务配置、依赖关系等。
构建实时任务的血缘关系,帮助追踪数据流向和计算过程。"
为了提高 BIGO 大数据渠道上某些事务目标的产出功率,以及更好的办理 Flink 实时使命,BIGO 大数据渠道建造了实时核算渠道 Bigoflow,并将部分核算慢的使命迁移到实时核算渠道上,通过 Flink 流式核算的方法来履行,通过音讯行列 Kafka/Pulsar 来进行数据分层,构建实时数仓;在 Bigoflow 上针对实时数仓的使命进行渠道化办理,树立一致的实时使命接入进口,并依据该渠道办理实时使命的元数据,构建实时使命的血缘关系。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。