开发者社区 问答 正文

在数据分析型应用中,如何保证批任务和流任务的输入统一?

在数据分析型应用中,如何保证批任务和流任务的输入统一?

展开
收起
真的很搞笑 2024-04-23 21:49:29 33 分享 版权
1 条回答
写回答
取消 提交回答
  • 为了保证输入统一,我们可以让流任务直接读取消息队列中的数据,同时周期性地将消息队列中的数据落盘,然后每日单独处理当天的增量数据,这样批任务也能周期性处理增量数据,从而实现输入统一。

    2024-04-23 22:05:07
    赞同 展开评论