Apache Kafka Streams 使用宽限时间方案有何优缺点?
Apache Kafka Streams 使用宽限时间方案的优点是,通过将低水印概念从全局拓展到算子级别,可以解耦不同算子的等待时间,实现更灵活的同步控制。然而,该方案也存在缺点,主要是由于“信号使用了当前事件信息”这一点带来的。例如,当上游算子因各种原因处理进度滞后而其他节点正常时,由于事件时间持续增加,超过宽限期后窗口会关闭,导致滞后节点处理完成的数据无法使用(窗口已关闭)。此外,由于数据流拓扑缺乏全局同步特性,这种推理在某些场景下可能会造成结果的不正确。为了解决这些问题,Apache Kafka Streams 计划使用类似 DataFlow 模型的方式,在流数据中注入携带进度信息的元数据来实现进度追踪。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。