开发者社区> 问答> 正文

小打卡实时任务开发中,为了提高任务的可用性,实现方式经历了哪几个阶段?

已解决

小打卡实时任务开发中,为了提高任务的可用性,实现方式经历了哪几个阶段?

展开
收起
游客mu7d6bfi3o7yq 2022-03-31 22:01:00 512 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    第一阶段,依靠一个实时计算任务直接计算结果,一旦需要对任务重启,就需要重跑一遍历史全量数据,上游存储介质需要永久存储,追赶的时间很长,且期间提供的数据不可用。 第二阶段,实时任务只计算增量部分,离线任务计算存量部分。再依靠Java服务,将两部分数据整合,开发战线拉得很长。 目前也就是第三阶段,将整合增量数据以及存量数据的任务也交给了流计算处理。第一层流计算,负责计算增量数据。第二层流计算负责整合增量存量数据,也因此实时计算任务有了级联关系,但目前实时计算开发平台,将所有的任务平铺管理,在某些需要对级联任务统一运维的场景支持不太友好,希望后续可以支持可视化的依赖管理,以及级联运维的,我们能迅速尝试并落地实施数仓,得益于 Flink sql 强大的能力。 以上信息摘自《大数据与ai的16种可能》,下载地址:https://developer.aliyun.com/topic/download?id=8237

    2022-04-01 15:24:59
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
如何实现应用的持续发布 立即下载
快速变化背景下,组织如何保持过程的稳定性 立即下载
快速变化背景下,组织如何保持过程的稳定性? 立即下载