开发者社区> 问答> 正文

Kappa架构的重新处理过程是什么?

Kappa架构的重新处理过程是什么?

展开
收起
芯在这 2021-12-12 12:26:00 352 0
1 条回答
写回答
取消 提交回答
  • 重新处理是人们对Kappa架构最担心的点,但实际上并不复杂:

    1.选择一个具有重放功能的、能够保存历史数据并支持多消费者的消息队列,根据需求设置历史数据保存的时长,比如Kafka,可以保存全部历史数据。

    2.当某个或某些指标有重新处理的需求时,按照新逻辑写一个新作业,然后从上游消息队列的最开始重新消费,把结果写到一个新的下游表中。

    3.当新作业赶上进度后,应用切换数据源,读取2中产生的新结果表。

    4.停止老的作业,删除老的结果表。

    2021-12-12 12:26:26
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载
青团社云原生架构实践—亿级灵活用工平台的架构实践 立即下载