在 Spark Structured 中，为什么全局水印的设计可能会导致不正确的聚合结果？
在 Spark Structured Streaming 中，为什么全局水印的设计可能会导致不正确的聚合结果？
展开
收起
1
条回答
写回答
写回答
-
在 Spark Structured Streaming 中，全局水印的设计初衷是用于计算中的状态管理，而不是为了支持复杂的完整性推理。因此，当在数据流拓扑中进行链式聚合时（即下游聚合算子的输入是上游聚合算子的输出），使用全局水印可能会导致不正确的聚合结果，因为全局水印无法准确反映每个聚合阶段的进度。
2024-06-17 20:42:24赞同 5 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
