开发者社区> 问答> 正文

BIGO大数据平台是如何通过Bigoflow来管理实时任务的?

BIGO大数据平台是如何通过Bigoflow来管理实时任务的?

展开
收起
真的很搞笑 2024-07-22 22:36:59 44 0
2 条回答
写回答
取消 提交回答
  • "BIGO大数据平台通过Bigoflow来管理实时任务,主要包括:

    统一的实时任务接入入口,简化任务部署流程。
    管理实时任务的元数据,如任务配置、依赖关系等。
    构建实时任务的血缘关系,帮助追踪数据流向和计算过程。"

    2024-07-23 09:50:46
    赞同 2 展开评论 打赏
  • 为了提高 BIGO 大数据渠道上某些事务目标的产出功率,以及更好的办理 Flink 实时使命,BIGO 大数据渠道建造了实时核算渠道 Bigoflow,并将部分核算慢的使命迁移到实时核算渠道上,通过 Flink 流式核算的方法来履行,通过音讯行列 Kafka/Pulsar 来进行数据分层,构建实时数仓;在 Bigoflow 上针对实时数仓的使命进行渠道化办理,树立一致的实时使命接入进口,并依据该渠道办理实时使命的元数据,构建实时使命的血缘关系。

    image.png
    参考文档https://www.aliyun123.cn/jsl/2401.html

    2024-07-23 09:22:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载