开发者社区> 问答> 正文

在数据分析型应用中,如何保证批任务和流任务的输入统一?

在数据分析型应用中,如何保证批任务和流任务的输入统一?

展开
收起
真的很搞笑 2024-04-23 21:49:29 17 0
1 条回答
写回答
取消 提交回答
  • 为了保证输入统一,我们可以让流任务直接读取消息队列中的数据,同时周期性地将消息队列中的数据落盘,然后每日单独处理当天的增量数据,这样批任务也能周期性处理增量数据,从而实现输入统一。

    2024-04-23 22:05:07
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Python第四讲——使用IPython/Jupyter Notebook与日志服务玩转超大规模数据分析与可视化 立即下载
互联网下半场的角逐,玩转轻资产的大数据服务—图(关系网络)数据分析与阿里应用 立即下载
如何使用大数据计算服务 MaxCompute进行数据分析 立即下载